Model AI wie, kiedy nie wie. Matematycy odkryli kierunek ignorancji

Kiedy duży model językowy nie wie, co powiedzieć, sięga po coś jak statystyczny odruch. W nowej pracy zespół matematyków pokazał, że w sercu tych modeli kryje się 'kierunek ignorancji' – pojedynczy wektor, który koduje domyślne odpowiedzi i wyznacza, jak bardzo model ufa swojemu kontekstowi.

Kierunek ignorancji

Wyjątkowo nie lubię, kiedy model językowy rzuca przypadkowym słowem, bo nie ma pojęcia, co dalej. Ale teraz jest na to wzór. Toni Liu i jego zespół z Cornell (i nie tylko) przeanalizowali geometrię warstwy wyjściowej kilku rodzin modeli – Llama, Qwen, Gemma, Pythia – i znaleźli jeden kierunek w macierzy unembeddingowej, który odpowiada rozkładowi unigramów z treningu. To ten rozkład mówi, jak często każde słowo występuje samo z siebie, bez kontekstu. Inaczej: to domyślne przypuszczenie modelu, gdy nie wie, co powiedzieć.

Nazwali to 'kierunkiem ignorancji'. Brzmi jak żart, ale działa precyzyjnie. Wystarczy rzutować stan końcowy modelu na ten kierunek, żeby dostać liczbę λ – współczynnik, który mówi, jak bardzo model opiera się na tym domyślnym priorze. Im więcej kontekstu, tym λ spada. Model dosłownie przestaje polegać na odruchach, gdy ma więcej informacji.

Jak model waży niewiedzę?

Wyobraź sobie, że zgadujesz kolejne słowo w zdaniu. Jeśli widzisz tylko 'Kot...', pomyślisz pewnie o 'śpi', 'biega' – coś popularnego. Ale jeśli masz całe zdanie: 'Kot gonił mysz, aż w końcu...', to 'złapał' jest bardziej prawdopodobne. Twój wewnętrzny prior słabnie. Dokładnie to robi λ w modelach.

Zespół odkrył, że rozkład prawdopodobieństwa na wyjściu modelu można rozłożyć na dwie prostopadłe części: jedna pochodzi z priory unigramowego podniesionego do potęgi λ, druga to czysta informacja z kontekstu. To jest temperowany bayesowski update. Nie trzeba niczego dodawać ręcznie – sama geometria sieci to robi.

Co ciekawe, w modelach większych (do 405 miliardów parametrów) λ w granicy dużego kontekstu jest niższe. Czyli większe modele bardziej ufają kontekstowi, a mniej domyślnemu rozkładowi. To ma sens: większy mózg lepiej wykorzystuje dane.

Pojedynczy kierunek macierzy unembeddingowej koduje rozkład unigramów korpusu treningowego, który służy jako bayesowski prior, na który model się cofa, gdy jest niepewny.

Toni J. B. Liu et al.

The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors, arXiv:2609.02959

Eksperymenty, które to potwierdzają

Żeby sprawdzić, czy to nie tylko korelacja, zespół zrobił interwencje przyczynowe. Zmieniali λ ręcznie – podnosili lub obniżali – i patrzyli, jak zmienia się rozkład predykcji mierzony dywergencją KL od priory unigramowego. Efekt był jednoznaczny: zwiększenie λ przesuwało predykcję w stronę domyślnego rozkładu, zmniejszenie – oddalało. Kierunek ignorancji jest aktywny przyczynowo.

To trochę jakbyś mógł śrubokrętem regulować ostrożność modelu. Podkręcasz λ – model staje się 'leniwy' i częściej zgaduje popularne słowa. Zmniejszasz – bardziej ufa kontekstowi, nawet jeśli jest słaby. W praktyce to może być narzędzie do kontrolowania halucynacji.

Po co nam to?

Zrozumienie, jak model radzi sobie z niepewnością, jest kluczowe, jeśli chcemy mu ufać. Dziś, gdy model generuje tekst, nie wiemy, czy korzysta z głębokiego zrozumienia kontekstu, czy tylko strzela na podstawie statystyk. Wskaźnik λ daje nam liczbową miarę tego, jak bardzo model 'nie wie'. Można to wykorzystać do debugowania, do oceny jakości promptów albo do wykrywania momentów, w których model wymyśla odpowiedzi.

Szczerze, najbardziej podoba mi się, że to odkrycie jest takie czyste. Nie trzeba było trenować niczego nowego. Po prostu zajrzeli w geometrię istniejących modeli i znaleźli sensowną strukturę. To rzadkie w dzisiejszym zalewie prac o AI.

• W każdej zbadanej rodzinie modeli (Llama, Qwen, Gemma, Pythia) istnieje pojedynczy kierunek w macierzy unembeddingowej, który koduje rozkład unigramów z treningu.
• Rzutowanie stanu predykcji na ten kierunek daje współczynnik λ, który maleje, gdy kontekst staje się bardziej informatywny.
• Większe modele (do 405 mld parametrów) w silnym kontekście polegają na priorze mniej niż mniejsze.
• Interwencje przyczynowe potwierdzają, że manipulacja λ przesuwa predykcję w stronę lub od priory unigramowego.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Detektor halucynacji w raportach finansowych: współczynnik λ zamiast zgadywania

Automatyczne analizy finansowe oparte na dużych modelach językowych potrafią brzmieć przekonująco, n

Gdy AI wraca do podręcznika zamiast słuchać pacjenta: nowy mechanizm bezpieczeństwa dla szpitali

Systemy AI wspomagające diagnozę potrafią analizować setki parametrów, ale mają jeden, rzadko omawia

Pewność AI w analizie umów: wykorzystanie kierunku ignorancji

Kancelarie coraz częściej używają AI do analizy umów. Problem? Modele potrafią 'zgadywać' ryzyko na

Kiedy AI przyznaje się do niewiedzy: inteligentne eskalacje w chatbotach

Klienci dzwoniący na infolinię coraz częściej trafiają na chatboty. Niestety, gdy bot nie zna odpowi

Podsumowanie

Odkrycie kierunku ignorancji daje firmom konkretny uchwyt do kontroli modeli językowych. Można monitorować λ w czasie rzeczywistym, żeby oceniać wiarygodność odpowiedzi – jeśli λ jest wysokie, model prawdopodobnie zgaduje. W systemach RAG (retrieval-augmented generation) można by użyć λ do dynamicznego ważenia kontekstu zewnętrznego. Wreszcie, przy fine-tuningu można celowo modyfikować ten kierunek, żeby dostosować zachowanie modelu do specyfiki domeny, np. medycyny czy prawa, gdzie domyślne statystyki z ogólnego korpusu mogą być mylące.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.