Zajrzeć do wnętrza sztucznej inteligencji i sprawdzić, czy jej 'tok myślenia' jest spójny - to marzenie wielu badaczy. Fahd Seddik i Fatemeh Fard zdefiniowali cztery fundamentalne kryteria, które powinna spełniać wewnętrzna reprezentacja myśli w dużych modelach językowych. Po przetestowaniu kilkunastu otwartych modeli na 23 zadaniach okazało się, że żaden nie radzi sobie z nimi wszystkimi jednocześnie, a problem nie leży w rozmiarze sieci, tylko w samej strukturze reprezentacji.
Po co nam aksjomaty w AI
Kiedy testujemy model, zwykle patrzymy na wynik końcowy - czy poprawnie odpowiedział na pytanie. To trochę jak ocena kierowcy tylko po tym, czy dojechał do celu, bez sprawdzenia, czy po drodze nie łamał przepisów. Seddik i Fard twierdzą, że w przypadku modeli językowych kluczowe jest zajrzenie pod maskę i zbadanie, co dzieje się między przeczytaniem pytania a wygenerowaniem odpowiedzi. Ich zdaniem dotychczasowe benchmarki (MMLU, GSM8K) mieszają jakość tej wewnętrznej reprezentacji z ogólną sprawnością modelu, przez co trudno wyłapać konkretne usterki.
Proponują więc przenieść punkt ciężkości z wyniku na sam proces: zamiast pytać 'czy model odpowiedział dobrze?', pytają 'czy jego ukryta reprezentacja jest przyczynowa, minimalna, rozróżnialna i stabilna?'. To cztery aksjomaty - elementarne warunki, które sensowna reprezentacja powinna spełniać. Ich pomysł przypomina audyt silnika, a nie tylko pomiar prędkości. Dzięki temu można oddzielić błędy wynikające ze złej reprezentacji od tych, które wynikają z późniejszego przetwarzania.
Cztery filary dobrej reprezentacji
Pierwszy aksjomat to Przyczynowość. Zmiana reprezentacji powinna wpływać na odpowiedź modelu - jeśli podmienimy 'myśl' na przypadkową, odpowiedź powinna się pogorszyć. Wyobraźmy sobie nawigatora GPS: jeżeli wpiszemy zły adres, oczekujemy, że trasa też będzie błędna. Drugi to Minimalność: reprezentacja nie powinna zawierać zbędnych informacji. Powinna kodować tylko to, co jest potrzebne do rozwiązania zadania, a nie powtarzać całe wejście. To jak notatka z zebrania - zawiera kluczowe decyzje, a nie stenogram każdego słowa.
Trzeci aksjomat, Rozdzielność, mówi, że reprezentacje dwóch różnych pytań powinny być od siebie wyraźnie odległe. Jeśli pytamy model o stolicę Francji, a potem o wynik meczu, to wewnętrzne 'stany myśli' nie mogą być niemal identyczne. Ostatni - Stabilność - wymaga, aby semantycznie podobne pytania (np. 'Jaka jest stolica Francji?' i 'Podaj stolicę Francji') dawały reprezentacje bliskie sobie. Razem tworzą solidną podstawę do oceny, czy model rzeczywiście 'rozumie' to, co robi.
Odkryliśmy, że żaden kandydat nie spełnia wszystkich czterech aksjomatów jednocześnie; reprezentacje dobrze odróżniają typy zadań, ale nie potrafią odróżnić dwóch pytań w ramach tego samego zadania, a także kodują niewiele informacji poza tym, co już jest w embeddingu wejściowym.
Fahd Seddik, Fatemeh Fard
Streszczenie pracy
Wyniki audytu: 23 zadania i sporo rozczarowań
Badacze wzięli na warsztat kilkanaście otwartych modeli - od gęstych sieci przez modele destylowane z rozumowania aż po trenowane z pomocą uczenia ze wzmocnieniem. Każdy testowano na 23 zróżnicowanych zadaniach, od pytań faktograficznych po rozumowanie przestrzenne. Dla każdego z czterech aksjomatów policzono metrykę. Wynik? Jak piszą autorzy: 'Odkryliśmy, że żaden kandydat nie spełnia wszystkich czterech aksjomatów jednocześnie; reprezentacje dobrze odróżniają typy zadań, ale nie potrafią odróżnić dwóch pytań w ramach tego samego zadania, a także kodują niewiele informacji poza tym, co już jest w embeddingu wejściowym.'
Innymi słowy, model wie, że rozwiązuje zadanie matematyczne, ale często nie widzi różnicy między dodawaniem a mnożeniem. Albo orientuje się, że chodzi o geografię, ale miesza ze sobą konkretne pytania o kraje. Co więcej, informacja w reprezentacji jest w dużej mierze powieleniem wejścia - jakby stenogram zamiast streszczenia. To trochę tak, jakby student na egzaminie przepisał treść zadania zamiast podać rozwiązanie.
Struktura, nie skala - dlaczego to ważne
Najbardziej zaskakujące jest to, że niepowodzenia powtarzają się niezależnie od architektury i metody treningu. 'Niepowodzenie jest spójne dla gęstych, destylowanych z rozumowania i trenowanych z użyciem RL rodzin modeli, co wskazuje, że luka jest strukturalna, a nie wynika z rozmiaru modelu czy procedury treningowej' - podkreślają autorzy. To stawia pod znakiem zapytania powszechne przekonanie, że większe modele lub lepsze techniki treningu automatycznie rozwiązują problemy z reprezentacją.
Jeśli wszystkie testowane modele zawodzą w ten sam sposób, to powiększanie ich skali nie pomoże - potrzebna jest raczej fundamentalna zmiana w sposobie, w jaki uczymy sieci neuronowe budować wewnętrzne pojęcia. Dla inżynierów pracujących nad bardziej wiarygodną AI ta obserwacja jest jak zimny prysznic: mówi, że w architekturze transformerów może tkwić ograniczenie, którego nie przeskoczymy dokładając kolejne warstwy.
Co dalej? Od aksjomatów do praktyki
Opracowany framework nie jest tylko akademickim ćwiczeniem - daje konkretne narzędzie do diagnozowania modeli przed ich wdrożeniem. W medycynie, gdzie AI pomaga interpretować obrazy rentgenowskie, chcielibyśmy mieć pewność, że reprezentacja 'widzi' zmianę chorobową w sposób przyczynowy i stabilny, a nie tylko statystycznie kojarzy piksele z diagnozą. Podobnie w systemach autonomicznych - reprezentacja pieszego na przejściu musi jednoznacznie różnić się od tła i nie zanikać przy drobnych zmianach oświetlenia.
Badacze planują teraz sprawdzić, czy da się te aksjomaty wbudować bezpośrednio w proces treningu, żeby modele od razu uczyły się lepiej reprezentować swoje 'myśli', zamiast polegać na powtarzaniu wejścia. Jeśli się uda, możemy dostać AI, której wewnętrzny tok rozumowania będzie bardziej przejrzysty i godny zaufania - nie tylko zda egzamin, ale też pokaże, że po drodze nie ściągało.
- Żaden z badanych modeli nie spełnia jednocześnie wszystkich czterech aksjomatów (przyczynowość, minimalność, rozdzielność, stabilność).
- Reprezentacje potrafią odróżniać typy zadań (np. matematyka od geografii), ale mylą konkretne pytania w obrębie tego samego typu.
- Większość informacji w reprezentacji to powtórzenie wejścia, a nie jego sensowna abstrakcja.
- Niedostatki są identyczne dla modeli gęstych, destylowanych i trenowanych z RL - to wina architektury, nie skali.
- Typowe benchmarki nie pozwalają oddzielić jakości reprezentacji od ogólnej pojemności modelu, co maskuje problem.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Framework aksjomatyczny to praktyczne narzędzie do audytu modeli przed wdrożeniem w krytycznych dziedzinach, takich jak diagnostyka medyczna czy pojazdy autonomiczne. Pozwala ocenić, czy wewnętrzna reprezentacja danych jest naprawdę sensowna, a nie tylko przypadkowo prowadzi do poprawnej odpowiedzi. Dla zespołów rozwijających duże modele językowe może stać się podstawą do tworzenia nowych technik treningowych, które celują w spełnianie tych czterech warunków, zamiast polegać wyłącznie na powiększaniu skali.
Metryka artykułu źródłowego
Tytuł oryginalny: Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs
Autorzy: Fahd Seddik, Fatemeh Fard
Data publikacji: 29 czerwca 2026
arXiv: arxiv.org/abs/2606.27378
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
