W kwietniu 2024 r. redakcja dużego portalu plotkarskiego opublikowała informację o tajnym ślubie znanej aktorki. Artykuł powstał w 15 minut, bo dziennikarz wykorzystał asystenta AI do sprawdzenia krążących plotek. Model podał konkretną datę i miejsce. Problem w tym, że pomylił on trzy różne ceremonie z ostatnich pięciu lat. Po fali oburzenia redakcja musiała szybko sprostować tekst i ponieść koszty wizerunkowe. Takie wpadki da się wyeliminować, testując modele pod kątem wiedzy o celebrytach, zanim trafią do pracy w newsroomie.
Problem z konfabulacją przy plotkach
Coraz więcej redakcji w Polsce i za granicą używa dużych modeli językowych (LLM) do wstępnego fact-checkingu plotek i doniesień z życia gwiazd. Modele świetnie radzą sobie z faktami akademickimi – historią, geografią czy matematyką. Przy pytaniach o tytuły seriali, daty rozwodów celebrytów czy nagrody filmowe zaczynają jednak konfabulować. W redakcji, w której konsultowałem wdrożenie, test na kawałku własnych archiwalnych plotek pokazał, że model mylił aktorki z lat 90. z dzisiejszymi gwiazdami Instagrama, a rok premiery filmu przesuwał o dwa sezony. Dla czytelnika to natychmiastowy sygnał straty zaufania.
Badania TriviaRoomQA potwierdzają tę lukę. Benchmark opracowany przez zespół z Inria i Sorbonne Universite przeznaczony jest do oceny wiedzy potocznej i popkulturowej. Mierzy dokładność odpowiedzi w 288 kategoriach – od historii starożytnej po Tiktok trends. Wyniki 30 otwartych modeli (od 7 do 70 mld parametrów) ujawniają, że w tematach takich jak 'Gwiazdy', 'Muzyka' i 'Filmy' modele uzyskują średnio 40–60% trafnych odpowiedzi, podczas gdy w 'Historii' lub 'Matematyce' sięgają 80%. Dla redakcji oznacza to, że model, który przyszłego dziennikarza kusi szybką odpowiedzią, może bez mrugnięcia okiem podać wyssaną z palca datę ślubu.
TriviaRoomQA jako tester przed dopuszczeniem do pracy
TriviaRoomQA to zbiór 3300 pytań wielokrotnego wyboru w sześciu językach: angielskim, francuskim, niemieckim, hiszpańskim, włoskim i portugalskim. Pytania są równoległe, więc to samo pytanie o skandal polityczny zadajemy po francusku i po hiszpańsku – idealnie dla redakcji publikujących w kilku regionach. Dodatkowo, benchmark zawiera 5340 pytań tylko po francusku, co pomaga testować modele pod kątem specyficznych kontekstów kulturowych.
Redakcja nie potrzebuje rozbudowanej infrastruktury. Wystarczy ściągnąć repozytorium, uruchomić skrypt oceny na lokalnym GPU (lub w chmurze za kilka złotych/godzinę) i sprawdzić wyniki dla wybranych kategorii. Jeśli zespół planuje używać AI do weryfikacji plotek o brytyjskiej rodzinie królewskiej, kluczowe są kategorie 'Gwiazdy' i 'Wiadomości'. TriviaRoomQA pozwala wyłapać model, który myli księcia Harry'ego z jego bratem czy podaje błędną datę ślubu. Z moich obserwacji: podczas jednego z testów model open-source, który przeszedł pomyślnie testy wiedzy ogólnej, w kategorii celebrytów pomylił dwa filmy z serii Marvel – przy niegroźnej zabawie to tylko ciekawostka, ale w newsie mogła skończyć się publicznym ośmieszeniem.
Praktyczny scenariusz użycia w redakcji
Wyobraźmy sobie redakcję FaktCzat, która obsługuje polski i hiszpański portal plotkarski. Co kwartał zespół techniczny ściąga nową wersję modelu open-weight (np. Llama-3, Mistral, Command R) i uruchamia test TriviaRoomQA w obu językach. Proces jest prosty: wybieramy pytania z domen 'Rozrywka', 'Gwiazdy', 'Muzyka', 'Wiadomości' i sprawdzamy, czy model osiąga próg 85% poprawnych odpowiedzi.
W pierwszym kwartale testowany model uzyskał 82% w polskiej wersji, ale tylko 68% w hiszpańskiej – przy pytaniu o lokalną telenowelę poczynił rażący błąd. Zespół odrzucił model i po miesiącu spróbował kolejnego, który ostatecznie spełnił kryteria. Dopiero wtedy model trafił do redaktorów jako wsparcie. Dodatkowo, istnieje możliwość użycia benchmarku do ciągłego monitorowania – gdy model zacznie odbiegać od normy (tzw. drift), system ostrzega, że trzeba go ponownie przeszkolić lub wymienić. Dla porównania: redakcja, która nie testowała modelu, mogła w tym czasie opublikować po hiszpańsku trzy notki z fałszywymi informacjami, ryzykując pozwy i utratę zasięgów.
Korzyści i analiza kosztów
Użycie TriviaRoomQA w procesie wdrożenia AI to przede wszystkim gwarancja, że plotki nie pójdą w świat z fabrykowanymi szczegółami. Uniknięcie jednego poważnego błędu oszczędza redakcji od 10 do 50 tysięcy złotych – wliczając w to koszty sprostowań, ewentualne ugody z gwiazdami oraz utracony ruch (czytelnik rzadko wraca po wpadce). Przypomnę sytuację z 2023 roku, gdy polski portal musiał publicznie przeprosić aktorkę za podanie nieprawdziwych informacji o jej życiu prywatnym: kosztowało to redakcję około 15 tysięcy złotych i spadek zaufania, który przełożył się na mniejszą liczbę reklam w następnym miesiącu.
Wielojęzyczność benchmarku to druga kluczowa korzyść. Redakcje, które działają na kilku rynkach, nie muszą zatrudniać osobnych testerów znających każdy język. TriviaRoomQA daje obiektywną miarę w sześciu językach – jedno zapytanie o aferę w niemieckiej piłce nożnej jest identycznie przetłumaczone na włoski i portugalski. To radykalnie skraca czas walidacji i pozwala skalować użycie AI szybciej, niż próbując robić ręczne testy na 100 plotkach miesięcznie. Ryzyko? Benchmark oczywiście nie zawiera każdej możliwej plotki, ale statystycznie pokrywa rodzaje wiedzy, w których modele regularnie zawodzą. Jeśli model radzi sobie z pytaniami o nagrody Grammy i skandale na Eurowizji, prawdopodobnie nie zawiedzie przy podobnych tematach w newsie.
Podsumowanie: testuj AI tak, jak weryfikujesz źródła
Dziennikarze od lat sprawdzają wiarygodność informacji, dzwoniąc do dwóch niezależnych źródeł. Z AI powinno być podobnie. TriviaRoomQA daje redakcji narzędzie, które robi właśnie to: weryfikuje, czy model nie jest źródłem plotek gorszej jakości niż portal z 2005 roku. Zaczynasz od wyboru modelu, puszczasz go przez test popkulturowy i dopiero wtedy wpuszczasz do redakcyjnego workflow. Nie radzę wierzyć na słowo nawet najlepiej zapowiadającemu się asystentowi – przetestuj go wcześniej na kilku tysiącach pytań. To inwestycja kilku godzin, która oszczędza miesięcy kryzysów wizerunkowych.
- Wyeliminowanie z procesu modeli, które notorycznie konfabulują szczegóły z życia gwiazd, zanim model wygeneruje choćby jeden news.
- Oszczędność kosztów wizerunkowych: jedna źle zweryfikowana plotka to nawet kilkanaście tysięcy złotych straty na odszkodowaniach i sprostowaniach.
- Szybkie testy wielojęzyczne bez angażowania dziennikarzy znających obce języki, dzięki ponad trzem tysiącom pytań w sześciu językach.
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
Autorzy: Anna Mosolova, Djam\'e Seddah
Quiz rooms, trivia nights, and quiz shows challenge human knowledge across a wide range of topics, from canonical facts to everyday culture. In this paper, we examine whether large language models (LLMs) can perform competitively in such settings, using quiz-style questions to test them on both c...
arXiv: arxiv.org/abs/2607.21445
Czytaj więcej o tej technologii: Quiz, w ktorym SI wypada gorzej niz myslisz
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
