Ring-Zero: bilion parametrów i model, który sam wymyśla jak myśleć

Nikt nie kazał mu pisać "sprawdzam" ani "zastanówmy się razem". Model Ring-2.5-1T-Zero sam zaczął to robić w trakcie uczenia, bez żadnych przykładów od ludzi. Nowy potok treningowy pokazuje, że przy bilionie parametrów w grę wchodzą już nie tylko szybsze obliczenia, ale coś znacznie ciekawszego – zachowania poznawcze, których nikt nie zaprogramował.

Od nauczyciela do gry: jak działa uczenie przez wzmacnianie bez danych od ludzi

Wyobraź sobie ucznia, który rozwiązuje zadania matematyczne. Zwykle potrzebuje podręcznika, przykładów i korepetycji od nauczyciela. Tradycyjne modele AI szkolone są podobnie – na ogromnych zbiorach przygotowanych przez ludzi. Ring-Zero odrzuca ten schemat. Działa jak gra z prostą zasadą: za każdą poprawną odpowiedź dostaje nagrodę, za błędną nic. I tyle. Żadnych przykładowych rozwiązań, żadnych ludzkich adnotacji. To tak zwane zero RL (reinforcement learning z weryfikowalnymi nagrodami).

Brzmi prosto, ale żeby to działało na modelu o bilionie parametrów, potrzeba kilku sprytnych sztuczek. Autorzy zastosowali przycięte próbkowanie ważności (clipped importance sampling), które zapobiega gwałtownym zmianom wag, korektę proporcji między liczbą kroków treningowych a wnioskowaniem oraz mieszaną precyzję obliczeń. Dzięki temu trening jest nie tylko stabilny, ale też energooszczędny.

Bilion parametrów: dlaczego "większe" nie zawsze znaczy "lepsze" – ale czasem tak

Ring-Zero podchodzi do tego inaczej. Przy bilionie parametrów następuje jakościowa zmiana w uczeniu. Model staje się oszczędniejszy w danych – potrafi wyciągać wnioski z mniejszej liczby przykładów. Co ważniejsze, podnosi się pułap, powyżej którego już się nie poprawi. "Skalowanie do 1 biliona parametrów znacząco zwiększa efektywność próbkowania i podnosi pułap wydajności" – notują badacze. Ważniejsza jest więc głębia rozumowania niż samo tempo przetwarzania.

Skalowanie do 1 biliona parametrów znacząco zwiększa efektywność próbkowania i podnosi pułap wydajności.

Xinyu Tang et al.

arXiv:2607.12395

Faza odkrywania i faza wyostrzania: jak AI dojrzewa w trakcie treningu

Najciekawsze dzieje się jednak w samym przebiegu uczenia. Proces treningu nie jest jednostajny. Najpierw model wchodzi w fazę odkrywania – eksploruje różne strategie rozumowania, próbuje na ślepo, często błądzi. Z czasem, gdy nagrody zaczynają działać, przechodzi do fazy wyostrzania: stabilizuje wybrane strategie i udoskonala je.

Patrząc na to z boku, przypomina to dziecko, które uczy się rozwiązywać łamigłówki. Najpierw próbuje wszystkiego po trochu, a potem nagle znajduje sposób i coraz sprawniej go powtarza. Tyle że to nie dziecko, tylko bilion-parametrowy model, a "sposób" to nie tylko prosta heurystyka, ale złożone zachowania poznawcze, które pojawiają się same.

Antropomorfizacja, samoweryfikacja i lęk kontekstowy: zachowania, których nikt nie uczył

Tu robi się naprawdę dziwnie. Model spontanicznie rozwija szereg zachowań, które zwykle kojarzymy z ludzkim myśleniem. Zaczyna pisać w pierwszej osobie ("zastanawiam się", "sprawdzam"), formatuje swoje wypowiedzi w czytelny sposób, samodzielnie weryfikuje swoje odpowiedzi, rozważa kilka ścieżek rozumowania jednocześnie, a nawet wykazuje coś, co badacze nazwali "lękiem kontekstowym" – nadmierną ostrożność w sytuacjach, gdy kontekst jest niejednoznaczny.

"Model spontanicznie rozwija zaawansowane zachowania poznawcze, w tym antropomorfizację, ustrukturyzowane formatowanie, samoweryfikację, rozumowanie równoległe i lęk kontekstowy, czyniąc ręcznie tworzone heurystyki zbędnymi" – czytamy w paperze. Nikt nie wstawiał do kodu instrukcji "zachowuj się jak człowiek". To wyłoniło się samo z procesu optymalizacji pod weryfikowalne nagrody. Jako obserwator czuję pewien dyskomfort – taki model nie tylko daje poprawne odpowiedzi, ale robi to w sposób, który zaczyna przypominać świadome myślenie.

• Ring-Zero uczy model wyłącznie za pomocą weryfikowalnych nagród – zero ludzkich przykładów.

• Przy bilionie parametrów model nie tylko szybciej się uczy, ale przede wszystkim osiąga wyższy maksymalny poziom rozumowania.

• Trening dzieli się na fazę odkrywania (chaotyczne próby) i wyostrzania (doskonalenie strategii).

• Pojawiające się zachowania poznawcze – samoweryfikacja, rozumowanie równoległe – nie zostały zaprogramowane; wyłoniły się z procesu optymalizacji.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Bilion parametrów w służbie audytu: jak AI uczy się myśleć nad księgami

Trzy z pięciu największych firm audytorskich na świecie zwiększyły w 2024 roku budżety na technologi

Prawnik AI: od analizy umów do wielowątkowej argumentacji

Działy prawne w korporacjach toną w umowach. Przy transakcji M&A trzeba przejrzeć setki stron w kilk

Diagnosta z bilionem parametrów: od objawów do równoległych hipotez

Przeciętny pacjent z niespecyficznymi objawami przechodzi przez średnio 4 konsultacje, zanim otrzyma

Inteligentny tutor, który myśli razem z uczniem

Statystyki z platform e-learningowych pokazują, że uczniowie przedmiotów ścisłych spędzają nawet 30%

Podsumowanie

Ring-Zero pokazuje, że ogromne modele trenowane bez ludzkich danych mogą same wypracować wyrafinowane strategie myślenia. W praktyce oznacza to, że asystenci AI do zadań matematycznych czy programistycznych nie będą już potrzebowali milionów ręcznie opisanych przykładów – wystarczy im sprzężenie zwrotne w postaci binarnej nagrody. Taka technologia może znaleźć zastosowanie w automatycznym dowodzeniu twierdzeń, inteligentnych systemach edukacyjnych oraz weryfikacji poprawności kodu, gdzie zamiast kosztownych adnotacji wystarczy test automatyczny.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.