Zapytaj duzy model jezykowy o date bitwy pod Grunwaldem, a odpowie bez wahania. Zapytaj o tytul ostatniego albumu Miley Cyrus albo nazwisko aktora z tasiemcowego serialu sprzed dekady, a zacznie konfabulowac. Nowy benchmark TriviaRoomQA pokazuje, ze sztuczna inteligencja ma klapki na oczach: swietnie radzi sobie z wiedza akademicka, ale potyka sie na codziennej popkulturze, zwlaszcza gdy pytanie zadane jest po polsku czy francusku, a nie po angielsku.
Trzy tysiace pytan, ktore obnazaja luke
Anna Mosolova i Djame Seddah stworzyli zbior 3300 pytan wielokrotnego wyboru w szesciu jezykach europejskich: angielskim, francuskim, niemieckim, hiszpanskim, wloskim i portugalskim. Dorzucili do tego ponad 5 tysiecy dodatkowych pytan tylko po francusku. Nie chodzi o pytania z podrecznikow. Kategorie takie jak 'celebryci', 'muzyka', 'filmy' czy 'biezace wiadomosci' stanowia trzon zestawu. To wiedza, ktora przecietny czlowiek wchlania mimochodem, scrollujac telefon przy sniadaniu.
Przetestowali 30 otwartych modeli, od 7 do 70 miliardow parametrow, od dostawcow z Europy, Azji i Ameryki Polnocnej. Wyniki sa jednoznaczne: im bardziej akademicki temat, tym lepiej. Im blizej codziennego zycia, tym gorzej. Modele nie maja problemu z historia czy matematyka, ale potykaja sie na tym, co dla wielu z nas jest najbardziej oczywiste: kto wygral Eurowizje trzy lata temu albo jak nazywa sie pies celebrytki z Instagrama.
Dlaczego popkultura jest trudniejsza niz algebra
To, ze model zna wzor na delte, a nie wie, kim jest Zendaya, nie jest przypadkiem. Dane treningowe duzych modeli jezykowych pochodza w duzej mierze z ksiazek, artykulow naukowych, Wikipedii i repozytoriow kodu. To sa zrodla, w ktorych wiedza akademicka jest gesto reprezentowana, powtarzana w roznych kontekstach i latwa do wydobycia. Popkultura jest plynna, rozproszona po serwisach plotkarskich, postach na X i filmikach na TikToku. Trudniej ja zebrac, trudniej zweryfikowac i latwiej sie dezaktualizuje.
Mosolova i Seddah nazywaja to 'wiedza z dlugiego ogona' – faktami, ktore sa prawdziwe, ale wystepuja w danych treningowych na tyle rzadko, ze model nie buduje wokol nich solidnych reprezentacji. W efekcie, zapytany o niszowy fakt z muzyki pop, model czesto zgaduje, a ze jest pewny siebie, jego bledy sa trudniejsze do wykrycia niz w matematyce, gdzie wynik mozna sprawdzic.
Podsumowujac, nasz zbior danych i eksperymenty pokazuja istotna luke w wiedzy, ktorej nie wychwytuja istniejace, nasycone benchmarki akademickie.
Anna Mosolova, Djame Seddah
Abstrakt artykulu
Ten sam fakt, inny jezyk, inna odpowiedz
Jedno z bardziej niepokojacych odkryc dotyczy jezyka. Te same pytania, przetlumaczone na szesc jezykow, dawaly rozne wyniki w zaleznosci od tego, w jakim jezyku zostaly zadane. Model, ktory poprawnie odpowiadal po angielsku na pytanie o francuskiego rezysera, mylil sie, gdy to samo pytanie dostawal po francusku. Albo po hiszpansku.
To podwaza zalozenie, ze wiedza faktograficzna w modelach jest 'jezykowo niezalezna'. Wyglada na to, ze sposob, w jaki model koduje informacje, jest silnie zwiazany z jezykiem, w ktorym ja napotkal podczas treningu. Dla uzytkownikow spoza anglojezycznego kregu kulturowego oznacza to, ze nawet jesli model 'wie' cos po angielsku, moze nie byc w stanie wydobyc tej wiedzy w innym jezyku.
Koniec ery akademickich testow
Benchmarki takie jak MMLU czy TriviaQA staly sie standardem w ocenie modeli, ale autorzy TriviaRoomQA argumentuja, ze sa one 'nasycone'. Kazdy nowy model jest na nich trenowany lub optymalizowany, wiec wyniki przestaja mowic cokolwiek o rzeczywistej jakosci. To troche jak test na prawo jazdy, do ktorego kazdy podchodzi po przerobieniu identycznych pytan egzaminacyjnych – zdawalnosc rosnie, ale nie znaczy to, ze kursanci lepiej jezdza.
TriviaRoomQA pokazuje, ze wystarczy zmienic rodzaj pytan na mniej podrecznikowe, a modele zaczynaja sie potykac. To nie jest blad, ktory zniknie wraz z wieksza liczba parametrow – modele 70-miliardowe mialy ten sam problem co ich mniejsze odpowiedniki. Problem lezy w tym, czym karmimy modele, nie w tym, jak duze sa.
- Modele LLM swietnie radza sobie z historia, geografia i matematyka, ale zawodza na pytaniach o celebrytow, muzyke i filmy.
- Wyniki roznia sie w zaleznosci od jezyka zapytania, nawet jesli pytanie dotyczy tego samego faktu.
- Istniejace benchmarki akademickie sa przesycone i nie mierza juz rzeczywistej jakosci modeli.
- Problem nie znika wraz ze wzrostem liczby parametrow – dotyczy zarowno malych, jak i duzych modeli.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
TriviaRoomQA to sygnal ostrzegawczy dla kazdego, kto wdraza modele jezykowe w produktach konsumenckich. Chatbot obslugi klienta, ktory swietnie odpowiada na pytania o regulamin, moze kompromitowac sie, gdy klient zapyta o cos z popkultury. Asystent glosowy w samochodzie moze nie rozpoznac nazwy zespolu, jesli kierowca mowi po polsku, chociaz ten sam model zna odpowiedz po angielsku. Firmy medialne i wydawcy, ktorzy uzywaja AI do generowania streszczen newsow, powinni sprawdzic, czy ich model nie 'zapomina' faktow, gdy temat schodzi z pierwszej strony gazet. Benchmark pokazuje tez, ze testowanie modeli wylacznie po angielsku to za malo – wielojezycznosc wymaga osobnych testow.
Metryka artykułu źródłowego
Tytuł oryginalny: When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
Autorzy: Anna Mosolova, Djam\'e Seddah
Data publikacji: 24 lipca 2026
arXiv: arxiv.org/abs/2607.21445
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.