[DO PRZEGLĄDU] Modele AI budują wewnętrzny świat, a potem go gubią

Wyobraź sobie, że rozwiązujesz skomplikowaną łamigłówkę. Na początku masz w głowie idealną mapę sytuacji. Wszystkie zasady są jasne. Ale w miarę jak planujesz kolejne ruchy, ta mapa zaczyna się po prostu rozmywać. Dokładnie to, według nowych badań, dzieje się z najbardziej zaawansowanymi modelami językowymi. Budują one w swoich 'neuronach' perfekcyjny model świata, a potem, w kluczowym momencie, tracą do niego dostęp.

Zaskakująca geometria w głowie transformera

Zespół pod kierunkiem Devina Pereiry i Willema Zuidemy zadał modelom AI klasyczną łamigłówkę – Wieże Hanoi. Nie chodziło jednak o sam wynik, a o to, co dzieje się 'pod maską' w trakcie myślenia. Skupili się na trudniejszej, 'płaskiej' wersji gry, gdzie krążki nie muszą startować na jednym słupku.

Za pomocą technik interpretowalności zajrzeli do wnętrza małych transformerów, nauczonych od podstaw na śladach rozwiązań. To, co zobaczyli, było zdumiewające. Aktywacje neuronów układały się w niezwykle wierną, geometryczną mapę całego świata gry – w strukturalny wzór znany jako trójkąt Sierpińskiego. To nie był przypadek. Reprezentacja była liniowo dekodowalna, co w praktyce znaczy, że informacja nie była w modelu głęboko ukryta, tylko wypisana prawie jak na dłoni.

Badacze poszli o krok dalej. Wykazali, że ten wewnętrzny model świata nie jest tylko ciekawostką czy efektem ubocznym. Jest bezpośrednio i przyczynowo zaangażowany w proces rozwiązywania zagadki. Manipulując tymi konkretnymi reprezentacjami, byli w stanie wpływać na generowane przez model ruchy. To mocny dowód na to, że AI nie tylko 'klei' słowa, ale naprawdę tworzy abstrakcyjną symulację reguł gry.

Wielkie modele i iluzja rozumowania

Naturalnym kolejnym krokiem było sprawdzenie, czy największe, najdroższe i najbardziej 'myślące' modele robią to samo. Do testu stanęły giganty: Qwen3.6 (27 miliardów parametrów) oraz DeepSeek-R1-Distill-Qwen (32 miliardy parametrów). Oba należą do kategorii dużych modeli rozumujących, które przed udzieleniem odpowiedzi generują długi łańcuch myśli, symulując proces logicznego wnioskowania.

Odkrycie było zaskakujące i paradoksalne. Na samym końcu otrzymanej instrukcji, tuż przed rozpoczęciem 'głośnego myślenia', oba modele kodowały perfekcyjną mapę trójkąta Sierpińskiego. Ich wewnętrzny świat gry był kompletny i poprawny. A mimo to notorycznie zawodziły przy rozwiązywaniu problemów z więcej niż trzema krążkami, gubiąc się we własnym toku rozumowania.

Problem nie leżał więc w braku zrozumienia. Modele doskonale rozumiały, w jakim świecie się znajdują. Zawodził mechanizm podtrzymywania tego zrozumienia. Jak ujął to zespół badawczy: 'Aktualne duże modele rozumujące budują model świata, a potem go tracą.'

Transformery rozwijają emergentny model świata: liniowo dekodowalną, geometrycznie wierną reprezentację przestrzeni stanów łamigłówki (trójkąt Sierpińskiego), która jest przyczynowo zaangażowana w jej rozwiązywanie.

Devin Pereira, Willem Zuidema

arXiv:2608.07077

Sztuczka z zastrzykiem pamięci

Postawiona diagnoza domagała się potwierdzenia. Jeśli problemem jest rozpad reprezentacji, czy można go naprawić? Badacze przeprowadzili prosty, ale elegancki eksperyment. W trakcie generowania odpowiedzi, kiedy model już planował kolejne ruchy, ponownie 'wstrzykiwali' mu ten nieskazitelny, początkowy obraz świata, utracony gdzieś po drodze.

Efekt był natychmiastowy. Skuteczność rozwiązywania łamigłówek wyraźnie wzrosła. To pokazało, że potrzebna wiedza nie znika na zawsze – jest tylko tymczasowo niedostępna. Mechanizm odpowiedzialny za utrzymywanie spójnego obrazu sytuacji przez kilkanaście kroków rozumowania jest w tych modelach zwyczajnie dziurawy.

To odkrycie rzuca nowe światło na wcześniejsze doniesienia o spektakularnych 'załamaniach' wydajności AI w bardziej złożonych zadaniach. Być może wiele z tych porażek to nie brak kompetencji, a kryzys podtrzymywania już zdobytej wiedzy. Model wchodzi w zadanie perfekcyjnie przygotowany, a mimo to daje odpowiedź amatora.

• Modele AI samodzielnie tworzą wierne, geometryczne mapy świata problemu, jak w przypadku trójkąta Sierpińskiego dla Wież Hanoi.
• Kluczowym problemem zaawansowanych modeli nie jest budowanie modelu świata, ale jego utrzymanie podczas wieloetapowego rozumowania.
• Wydajność można częściowo przywrócić, 'wstrzykując' modelowi poprawną reprezentację świata w trakcie jego pracy.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Niewidzialny GPS AI: Jak nie zgubić się w planowaniu trasy

W pojazdach autonomicznych, po kilkudziesięciu minutach jazdy w zatłoczonym mieście, system sterowan

Portfel, który pamięta: stabilność strategii inwestycyjnej AI

Systemy AI do zarządzania inwestycjami tworzą wieloletnie prognozy, ale gdy horyzont planowania się

Lekarski kompas: Gdy AI nie gubi wątku pacjenta

W 2023 roku algorytm wspomagający diagnozę w jednym z amerykańskich szpitali zasugerował podanie lek

Niewzruszony obrońca: Jak AI utrzymuje linię argumentacji

Narzędzia AI do analizy prawnej potrafią w jednym akapicie powołać się na orzecznictwo, które same o

Podsumowanie

Odkrycie mechanizmu 'gubienia' modelu świata zamiast jego braku ma konkretne konsekwencje. W diagnostyce medycznej asystent AI mógłby na podstawie symptomów zbudować poprawny obraz kliniczny, by potem, rozpisując plan leczenia, 'zapomnieć' o kluczowym objawie. Podobnie w analizie ryzyka finansowego – system mógłby stracić z oczu wcześniej zidentyfikowane zależności. Badania te wskazują, że rozwój AI musi teraz skupić się na stabilności reprezentacji w czasie, a nie tylko na ich początkowej jakości.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.