Wyobraź sobie salę sądową, gdzie zamiast jednego eksperta przesłuchujesz pięciu niezależnych świadków. Jeśli czterech z nich, nie konsultując się ze sobą, wskaże ten sam szczegół, zaczynasz mu ufać. Ning Liu pokazał, że ta sama logika działa dla modeli językowych. Jego 'LLM Jury' wybiera poprawne odpowiedzi w zadaniach matematycznych i naukowych lepiej niż wytrenowane systemy punktujące - i robi to za darmo.
Głosowanie zamiast oceniania
W świecie dużych modeli językowych przyjęło się, że potrzebujemy wyspecjalizowanych sędziów, tak zwanych process reward models, którzy punktują poprawność rozumowania krok po kroku. To one mają decydować, która z wygenerowanych odpowiedzi jest najlepsza. Problem w tym, że te modele są drogie w trenowaniu i często zawodzą poza swoją dziedziną.
Liu proponuje coś prostszego: weź panel kilku różnych modeli, każdemu każ rozwiązać zadanie raz i zapytaj, czy zgadzają się z odpowiedzią kandydata. Wybierasz tę, z którą zgadza się najwięcej 'jurorów'. Żadnego trenowania, żadnych wag, żadnego punktowania łańcuchów myślowych. Liczy się tylko struktura zgody.
Wyniki są zaskakujące. Na matematyce konkursowej 'ława przysięgłych' zamyka lukę do idealnego selektora odpowiedzi, podczas gdy samoocena modelu (self-scoring) prawie wcale nie poprawia wyniku. Jak to możliwe?
Dlaczego błędy, które nie pasują do siebie, są lepsze
Klucz tkwi w czymś, co Liu nazywa 'error decorrelation', czyli dekorlacją błędów. Modele trenowane niezależnie, na różnych danych i z różnymi architekturami, popełniają różne błędy. Jeden pomyli się w algebrze, drugi w interpretacji zadania, trzeci źle przepisze liczbę z treści. Ich złe odpowiedzi rozjeżdżają się w różne strony, podczas gdy poprawna odpowiedź przyciąga zgodę.
'Struktura zgody, a nie punktowa ocena jednego modelu przez drugi, jest sygnałem weryfikacyjnym' - pisze Liu. To subtelna, ale potężna różnica. Zamiast ufać jednej 'mądrej' ocenie, ufasz statystycznej zbieżności między niezależnymi obserwatorami. Trochę jak z recenzjami produktów: jedna entuzjastyczna opinia może być przypadkowa, ale pięć zgodnych, od nieznających się ludzi, coś znaczy.
Sam miałem moment nieufności przy tych wynikach. Konkurencyjna matematyka to twardy orzech do zgryzienia, a tu panel modeli bez specjalnego treningu wygrywa z dedykowanymi weryfikatorami? Sprawdziłem metodologię. Każdy juror rozwiązuje zadanie tylko raz, bez wielokrotnego próbkowania, więc koszt obliczeniowy jest przewidywalny i niski.
Struktura zgody, a nie punktowa ocena jednego modelu przez drugi, jest sygnałem weryfikacyjnym.
Ning Liu
LLMs as a Jury, arXiv
Prawo, które przewiduje, kiedy panel zawiedzie
Drugim filarem pracy jest matematyczne prawo, które bez żadnych parametrów przewiduje, jak dokładny będzie konsensus panelu. Potrzebujesz do tego tylko trzech statystyk: liczby jurorów, prawdopodobieństwa że pojedynczy model jest poprawny, oraz prawdopodobieństwa że dwa modele się ze sobą zgodzą. Rzut oka na te liczby i wiesz, czy głosowanie ma sens.
Średni błąd bezwzględny przewidywań tego prawa wynosi 0.03. To znaczy, że możesz spojrzeć na skład swojego panelu i z góry oszacować, że konsensus będzie miał na przykład 75 procent trafności, plus minus 3 punkty procentowe. Dla praktyka to bezcenne: nie musisz przeprowadzać kosztownego eksperymentu, żeby wiedzieć, czy metoda zadziała dla twojego konkretnego zestawu modeli i zadań.
Prawo to odsłania też szklany sufit metody: 'shared-error floor'. To poziom błędu, który zostaje, kiedy wszystkie modele w panelu dzielą to samo błędne przekonanie. Na matematyce ten sufit jest bliski zeru - modele rzadko mylą się w ten sam sposób. Na zadaniach naukowych jest już wyższy. Jak zauważa Liu: 'Kiedy modele dzielą to samo nieporozumienie, żadne głosowanie tego nie naprawi'.
Darmowy weryfikator kontra wytrenowane systemy punktujące
Autor sprawdził 'LLM Jury' przeciwko czterem rodzajom wytrenowanych weryfikatorów: modelom dyskryminacyjnym, outcome reward models i generatywnym reward models. W każdej konfrontacji panel bez treningu dorównywał najlepszemu z wytrenowanych systemów w domenie matematycznej, a poza nią był bezkonkurencyjny.
'Darmowa ława przysięgłych z modeli LLM dorównuje najmocniejszym w ich domenie treningowej i jest najlepszym selektorem poza nią' - czytamy w abstrakcie. To ma sens: wytrenowane weryfikatory są specjalistami. Świetnie radzą sobie z typem zadań, na których były uczone, ale przy zmianie formatu czy dziedziny ich oceny stają się losowe. Panel niezależnych modeli nie ma tego problemu, bo żaden z jurorów nie był 'uczony' oceniania.
Zastanawia mnie jedno: czy ta przewaga utrzyma się, gdy wszyscy zaczną używać tych samych kilku modeli bazowych? Bo jeśli twój panel to GPT, Claude i Gemini, ale wszystkie trenowane na podobnych korpusach i z podobnymi celami, to shared-error floor może być wyższy niż w eksperymentach Liu, gdzie dbał o prawdziwą niezależność jurorów.
- Konsensus między modelami (LLM Jury) wybiera poprawne odpowiedzi lepiej niż samoocena i dorównuje wytrenowanym weryfikatorom
- Sukces wynika z dekorlacji błędów: niezależne modele rzadko mylą się w ten sam sposób
- Proste prawo matematyczne przewiduje trafność metody na podstawie trzech statystyk panelu, z błędem średnim 0.03
- Metoda ma sufit: shared-error floor, czyli poziom błędu gdy wszystkie modele dzielą to samo błędne przekonanie
- Panel jest darmowy (nie wymaga treningu), przewidywalny i działa poza domeną treningową pojedynczych modeli
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Praktyczne implikacje są odświeżająco bezpośrednie. W systemach automatycznej weryfikacji kodu możesz zastąpić pojedynczy, kosztowny weryfikator panelem trzech tańszych modeli i dostać lepszą detekcję błędów bez dodatkowego treningu. W automatycznym ocenianiu otwartych odpowiedzi studentów (np. w naukach ścisłych) panel niezależnych LLM-ów może dać bardziej odporne oceny niż jeden wyspecjalizowany klasyfikator, szczególnie gdy pytania odbiegają od schematu. Wreszcie, w pipeline'ach RAG do weryfikacji faktów - gdzie pojedynczy model często halucynuje - głosowanie trzech różnych modeli może odsiać poprawne cytowania od zmyślonych, bez pisania jednej linijki kodu trenującego.
Metryka artykułu źródłowego
Tytuł oryginalny: LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
Autorzy: Ning Liu
Data publikacji: 14 lipca 2026
arXiv: arxiv.org/abs/2607.10139
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
