Wiele systemów eksperckich - od silników gier po planery robotów - podejmuje decyzje bliskie optymalnym, ale nie potrafi wyjaśnić, jak do nich doszło. LeAct to metoda, która uczy się odgadywać ich tok rozumowania, a potem przekazuje go innym modelom.
Milczący eksperci
Wyobraź sobie arcymistrza szachowego, który gra bezbłędnie, ale na pytanie 'dlaczego ruszyłeś skoczkiem?' tylko wzrusza ramionami. Podobnie zachowują się systemy eksperckie w informatyce: solver pokera kalkuluje optymalne zagranie, planer robota wyznacza trasę, a silnik gry symuluje ruch przeciwnika. Wszystkie te programy są skuteczne, ale milczące. Nie zostawiają po sobie śladu w postaci łańcucha rozumowania (Chain of Thought, CoT), czyli sekwencji kroków w języku naturalnym, które tłumaczyłyby ich decyzje.
To duży problem, bo bez tego śladu trudno nauczyć inne modele - zwłaszcza te oparte na języku - podejmowania równie dobrych decyzji. Zespół badaczy z Princeton (Ziran Yang i inni) postanowił to zmienić. Ich metoda LeAct traktuje brakujący CoT jako zmienną ukrytą i próbuje go odtworzyć z samej akcji eksperta.
Jak LeAct odgaduje myśli
Mechanizm jest zaskakująco prosty. Dla każdej akcji wygenerowanej przez eksperta model-uczeń tworzy wiele kandydatów na łańcuch rozumowania. Mogą to być zdania w stylu 'przeciwnik prawdopodobnie ma słabe karty, więc podbijam'. Następnie LeAct sprawdza, które z tych kandydatów rzeczywiście zwiększają prawdopodobieństwo, że uczeń samodzielnie odtworzy tę samą akcję. Te, które pomagają, zostają zachowane; reszta trafia do kosza.
To trochę jak zgadywanie, co myślał nauczyciel, a potem weryfikowanie tych przypuszczeń na podstawie własnych wyników. Cały proces odbywa się bez żadnych ręcznych adnotacji - system ekspercki pozostaje niemym dostawcą danych, a LeAct samodzielnie wydobywa z nich użyteczne rozumowanie. Traktując CoT jako zmienną ukrytą, badacze ominęli konieczność zbierania drogich opisów słownych. Wystarczyły same decyzje i odrobina statystyki.
Ci eksperci milczą: podejmują akcję, nie zapisując łańcucha rozumowania (CoT) za nią.
Ziran Yang, Chengshuai Shi, Raj Ghugare, Benjamin Eysenbach, Karthik Narasimhan, Chi Jin
arXiv:2607.21856
Od pokera po roboty - wyniki
Skuteczność LeAct sprawdzono w dwóch domenach: grach z niepełną informacją (czyli takich, gdzie nie widzimy kart przeciwnika) i symulowanej robotyce. W małych grach, gdzie możliwe jest dokładne rozwiązanie numeryczne, LeAct praktycznie osiągnął dolną granicę błędu solvera - czyli był tak dobry, jak to tylko teoretycznie możliwe.
W większych grach różnica była jeszcze bardziej widoczna. W wariancie pokera o nazwie Flop Hold'em, gdzie istnieje około miliarda zbiorów informacyjnych, LeAct zbliżył się do wyniku solvera pięciokrotnie bardziej niż najmocniejsza metoda bazowa. W bezpośrednim pojedynku botów LeAct wygrywał z przewagą +60 mbb/g, co w pokerze oznacza ogromną dominację. W testach robotycznych LeAct okazał się jedyną metodą treningową, która poprawiała wyniki względem zwykłego naśladownictwa. Innymi słowy, samo kopiowanie ruchów eksperta nie wystarczało - dopiero dodanie odgadniętego rozumowania dawało realny postęp.
Nowy rodzaj nauczycieli
Najciekawszy wniosek z pracy jest taki, że systemy eksperckie - dotąd traktowane głównie jako narzędzia do rozwiązywania konkretnych problemów - mogą stać się zupełnie nową kategorią nauczycieli dla modeli fundamentalnych. Do tej pory uczenie rozumowania opierało się na danych od ludzi: adnotacjach, dialogach, opisach. LeAct pokazuje, że można pominąć człowieka i czerpać wiedzę wprost z maszyn, które same w sobie nie potrafią jej wyartykułować.
To otwiera drogę do trenowania asystentów AI na danych pochodzących z symulatorów fizyki, silników gier, planerów logistycznych czy systemów sterowania ruchem. Zamiast prosić eksperta o wyjaśnienie 'dlaczego', wystarczy dać mu działać, a LeAct sam wyłuska sens z tych działań.
- LeAct osiąga numeryczne minimum solvera w małych grach z niepełną informacją.
- W większej skali LeAct jest 5 razy bliższy wynikom solvera niż najmocniejsza bazowa metoda iteracji eksperckiej.
- W grze Flop Hold'em (około 10^9 zbiorów informacyjnych) LeAct wygrywa bezpośrednie starcie o +60 mbb/g.
- W teście robotycznym LeAct jest jedyną metodą treningową, która poprawia wyniki względem bezpośredniego naśladownictwa.
- Systemy eksperckie mogą służyć jako zupełnie nowa kategoria nauczycieli rozumowania dla modeli fundamentalnych.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
LeAct to coś więcej niż akademicka ciekawostka. W przemyśle wiele systemów decyzyjnych działa jak czarne skrzynki - od algorytmów tradingowych po systemy zarządzania ruchem. Możliwość wydobycia z nich rozumowania i przekazania go modelom uczenia maszynowego może przyspieszyć trening asystentów AI w finansach, logistyce czy robotyce. To także sposób na dokumentowanie i audytowanie decyzji automatycznych systemów - wreszcie będzie można zapytać 'dlaczego?' i dostać zrozumiałą odpowiedź.
Metryka artykułu źródłowego
Tytuł oryginalny: LeAct: Learning to Reason from Expert Actions
Autorzy: Ziran Yang, Chengshuai Shi, Raj Ghugare, Benjamin Eysenbach, Karthik Narasimhan, Chi Jin
Data publikacji: 27 lipca 2026
arXiv: arxiv.org/abs/2607.21856
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
