Sześć najnowocześniejszych modeli językowych przez 39 dni przewidywało wyniki wszystkich 104 meczów Mistrzostw Świata w Piłce Nożnej 2026. Ich średnia skuteczność w typowaniu zwycięzcy wyniosła 63,9 procent – dokładnie tyle samo, co strategia obstawiania zawsze faworyta bukmachera. W najbardziej wyrównanych spotkaniach, gdzie dostępnych było najwięcej informacji, modele gubiły się najbardziej.
Turniej bez wycieku danych
Ocenianie modeli językowych na podstawie testów, które mogły wyciec do danych treningowych, to od lat pięta achillesowa branży. Badacze z WorldCup Arena rozwiązali ten problem w najprostszy możliwy sposób: kazali modelom przewidywać wyniki meczów, zanim te się odbyły. Ponieważ nikt nie znał rezultatów w momencie zadawania pytań, modele nie mogły ich po prostu zapamiętać. "Ocena jest wolna od wycieku danych z założenia, a nie dzięki filtrowaniu" – piszą autorzy.
W eksperymencie wzięło udział sześć modeli z najwyższej półki, wszystkie wyposażone w rozszerzone wnioskowanie i możliwość samodzielnego przeszukiwania internetu. Przed każdym meczem dostawały dossier z informacjami o formie drużyn, statystykach zawodników i innych kontekstowych danych. Następnie musiały wypełnić kartę z siedmioma rynkami prognostycznymi – od wyniku meczu po dokładny rezultat. Łącznie zebrano 4494 prognozy, a cały zbiór wraz z kodem oceniającym został upubliczniony jako nowy benchmark.
Konserwatywni typerzy
Modele niemal zawsze wskazywały faworyta. Ta strategia dała im 63,9 procent trafień, co pokrywa się z wynikiem prostego obstawiania drużyny z niższym kursem u bukmachera. Nie jest to zaskakujące – faworyci wygrywają częściej – ale pokazuje, że systemy nie potrafiły wycisnąć nic ponad tę podstawową regułę.
Co ciekawe, modele często zgadzały się ze sobą, nawet gdy nie miały racji. "Zgadzają się ze sobą znacznie częściej, niż mają rację, więc głosowanie większościowe nic nie daje" – zauważają autorzy. Innymi słowy, kiedy jeden model się mylił, pozostałe zwykle podążały tą samą ścieżką. Konsensus nie poprawiał celności, a jedynie potwierdzał, że wszystkie systemy myślą podobnie i wpadają w te same pułapki.
Ocena jest wolna od wycieku danych z założenia, a nie dzięki filtrowaniu.
Zhenran Wang i in.
WorldCup Arena, abstrakt
Gdy mecz jest wyrównany, modele gubią się
Największym zaskoczeniem jest to, że dokładność prognoz nie rosła wraz z ilością dostępnych informacji. Wręcz przeciwnie: w meczach, gdzie różnica sił była wyraźna, modele radziły sobie dobrze, ale w starciach najbardziej wyrównanych – gdzie dossier były najbogatsze – celność gwałtownie spadała. "Celność zależy od tego, jak jednostronny jest mecz, a nie od tego, ile o nim wiadomo: załamuje się w najbardziej wyrównanych starciach, gdzie dossier są najbogatsze" – czytamy w pracy.
To trochę tak, jakby ekspert, mając przed sobą stos raportów, nie potrafił wyciągnąć z nich wniosków i w kluczowym momencie zgadywał na chybił trafił. Modele nie wykorzystywały szczegółowych danych, by lepiej ocenić szanse w niepewnych sytuacjach. Być może po prostu brakuje im intuicji, która pozwala ludzkim analitykom ważyć sprzeczne sygnały.
Prototypowe wyniki i strach przed remisem
Przy przewidywaniu dokładnych rezultatów modele zachowywały się jeszcze ostrożniej. Wyraźnie unikały typowania remisów i rzadko wskazywały wyniki z dużą liczbą bramek. Zamiast tego uparcie wracały do jednego, "prototypowego" rezultatu – na przykład 1:0 lub 2:1 – ignorując naturalną różnorodność piłkarskich spotkań. W efekcie ich prognozy były zbyt jednolite i nie odzwierciedlały rzeczywistego rozkładu wyników.
Ten schemat przypomina zachowanie modeli w innych zadaniach: gdy brakuje pewności, chowają się za najczęściej występującym wzorcem z danych treningowych. W piłce nożnej, gdzie niespodzianki są na porządku dziennym, taka zachowawczość okazuje się słabością.
Czy któryś model jest lepszy?
Różnice między sześcioma testowanymi systemami okazały się niewielkie. Na szczycie i na dole rankingu pozycje były stabilne, ale w środku stawki kolejność zmieniała się z meczu na mecz, a marginesy błędu nachodziły na siebie. Żaden model nie wyróżnił się na tyle, by można było powiedzieć, że jest zdecydowanie lepszy od konkurencji.
To dość trzeźwiąca konkluzja: nawet najnowsze modele, z dostępem do internetu i rozbudowanym wnioskowaniem, nie potrafią prześcignąć prostej reguły "stawiaj na faworyta". Turniej piłkarski obnażył ich ograniczenia w dynamicznym, nieprzewidywalnym środowisku, gdzie sama wiedza nie wystarcza, by podejmować trafne decyzje.
- Modele osiągnęły 63,9% celności w typowaniu zwycięzcy meczu, tyle samo co strategia obstawiania faworyta.
- Wysoka zgodność między modelami nie przekłada się na lepsze prognozy – mylą się one zbiorowo.
- Celność spada drastycznie w wyrównanych meczach, mimo że dostępne są wtedy najbogatsze informacje.
- Systemy unikają typowania remisów i wysokich wyników, zamiast tego powielają jeden schematyczny rezultat.
- Sześć testowanych modeli nie różni się znacząco – żaden nie wypracował wyraźnej przewagi.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Eksperyment WorldCup Arena pokazuje, że nawet najnowsze modele językowe nie radzą sobie lepiej niż proste heurystyki w środowiskach o wysokiej niepewności. Metodologia ta może być wykorzystana do testowania AI w innych domenach czasu rzeczywistego, takich jak przewidywanie wyników wyborów, krótkoterminowych trendów giełdowych czy zdarzeń pogodowych. Dla firm rozważających wdrożenie predykcyjnych systemów AI to wyraźny sygnał, by nie przeceniać ich możliwości i zawsze zestawiać je z prostymi modelami bazowymi.
Metryka artykułu źródłowego
Tytuł oryginalny: WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament
Autorzy: Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi
Data publikacji: 5 sierpnia 2026
arXiv: arxiv.org/abs/2608.04008
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
