Wielkie modele językowe potrafią rozwiązywać zadania matematyczne, ale też produkują subtelne błędy, które umykają ludzkiej kontroli. Badacze proponują system, który omija ten problem - z pomocą języka formalnego Lean 4, agentowego potoku i nowatorskiej techniki Auxiliary Lemma tłumaczy matematykę badawczą na kod weryfikowalny maszynowo.
Co jest nie tak z rozumowaniem maszyn
Zespół Arshii Soltani Moakhar z University of Maryland zwraca uwagę na paradoks: modele językowe stają się coraz lepsze w matematyce, ale drobne pomyłki w rozumowaniu są trudne do wychwycenia. 'Choć duże modele językowe wykazują wyjątkowe zdolności w rozumowaniu matematycznym, często generują subtelne błędy, które umykają ludzkiemu wykryciu', piszą autorzy w abstrakcie.
Zwykła odpowiedź tekstowa nie daje pewności. System może brzmieć przekonująco i być całkowicie błędny. Dlatego badacze sięgają po formalne języki matematyczne, narzędzia, które mechanicznie sprawdzają poprawność każdego kroku dowodu.
Lean 4: sędzia, a nie doradca
W projekcie wykorzystano system Lean 4, który nie podpowiada rozwiązań, tylko weryfikuje formalne zapisy. Jeśli ktoś przedstawi dowód w Lean, to albo zostanie on zaakceptowany, albo odrzucony, nie ma miejsca na 'prawie dobrze'. Dlatego autoformalizacja, czyli automatyczne tłumaczenie matematyki z języka naturalnego na Lean, jest tak pożądana.
Dotychczas próby polegały głównie na dostrajaniu małych modeli specjalnie dla tego języka. Okazało się jednak, że ogromne modele ogólnego przeznaczenia, wytrenowane na standardowym kodzie, radzą sobie lepiej. Autorzy zauważają: 'Ostatnie trendy wskazują, że ogólne modele LLM, mocno zoptymalizowane pod kątem programowania, przewyższają obecnie mniejsze modele specjalnie dostrajane do Lean'.
Choć duże modele językowe wykazują wyjątkowe zdolności w rozumowaniu matematycznym, często generują subtelne błędy, które umykają ludzkiemu wykryciu.
Arshia Soltani Moakhar i in.
arXiv:2606.31134
Kiedy agenty przejmują dowodzenie
Sam model to za mało. System opiera się na architekturze wieloagentowej z centralnym orkiestratorem. Wyobraź sobie reżysera, który rozdziela role między aktorów: jeden agent analizuje tekst matematyczny, inny definiuje potrzebne typy danych, kolejny generuje lematy pomocnicze, a jeszcze inny składa cały dowód w Lean. Orkiestrator pilnuje, żeby wszystko było spójne.
Kluczowa jest możliwość wyjścia poza istniejące biblioteki, takie jak Mathlib. Zaawansowane badania często odwołują się do pojęć, których tam nie ma. System dynamicznie tworzy definicje brakujących typów i, to nowość, waliduje je przez technikę Auxiliary Lemma.
Pomocniczy lemat jako tester rzeczywistości
Dynamiczne dodawanie nowych definicji to ryzyko: można niechcący wprowadzić sprzeczność. Autorzy wpadli na pomysł, żeby przed formalizacją głównego twierdzenia sformułować i udowodnić pomocniczy lemat, który sprawdza, czy nowe typy są spójne. Jak piszą: 'Ponieważ najnowsze badania często opierają się na koncepcjach spoza zakresu istniejących bibliotek, takich jak Mathlib, nasz system dynamicznie rozszerza niezbędne definicje typów i waliduje je za pomocą nowatorskiej techniki Auxiliary Lemma przed formalizacją głównych twierdzeń'.
To trochę jak próbna jazda przed długą trasą, jeśli pomocniczy lemat przejdzie, można ruszać dalej.
Od studenckich zadań po prace z STOC-u
System przetestowano na 32 losowo wybranych problemach z PutnamBench, czyli zestawu zadań z prestiżowego konkursu im. Putnama. Wszystkie sformalizowane twierdzenia przeszły weryfikację maszynową. To już spore osiągnięcie, ale prawdziwy sprawdzian to matematyka na poziomie badawczym.
Zespół sięgnął po pięć artykułów z konferencji STOC, flagowej imprezy teoretyków informatyki. Główne twierdzenia wraz z dowodami zostały przełożone na Lean 4, a poprawność potwierdzili eksperci z dziedziny. Dwa dowody nie wymagały żadnych dodatkowych aksjomatów poza jądrem systemu Lean 4, czysta, elegancka formalizacja.
- Ogólne modele LLM do programowania pokonują modele trenowane tylko do Lean w zadaniach autoformalizacji.
- System agentowy z orkiestratorem i wieloetapowym potokiem formalizuje matematykę badawczą, wykraczając poza istniejące biblioteki.
- Dynamiczne rozszerzanie definicji typów i Auxiliary Lemma zastępują ręczne przygotowywanie bibliotek - to oszczędność miesięcy pracy.
- Sukces na 32 problemach z PutnamBench - wszystkie dowody zweryfikowane maszynowo.
- Pięć artykułów z STOC sformalizowanych, dwa bez dodatkowych aksjomatów - system udowodnił swoją przydatność na poziomie badawczym.
- Orkiestrator zarządza współpracą agentów, co pozwala obsłużyć skomplikowane koncepcje matematyczne.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Choć badania dotyczą czystej matematyki, możliwość automatycznego tłumaczenia skomplikowanych rozumowań na formalny język otwiera drogę do weryfikacji krytycznego kodu. W branżach takich jak lotnictwo, finansowe systemy wysokiego ryzyka czy smart kontrakty blockchain, gdzie błąd kosztuje miliony, maszynowo sprawdzone dowody poprawności mogą zyskać nową jakość - bez konieczności ręcznego przepisywania całej logiki przez specjalistów od Lean. Pięcioletni horyzont wydaje się realny na pierwsze wdrożenia w audycie algorytmów.
Metryka artykułu źródłowego
Tytuł oryginalny: Beyond the Library: An Agentic Framework for Autoformalizing Research Mathematics
Autorzy: Arshia Soltani Moakhar, Iman Gholami, Max Springer, Mahdi JafariRaviz, MohammadTaghi Hajiaghayi
Data publikacji: 1 lipca 2026
arXiv: arxiv.org/abs/2606.31134
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.