Globalne firmy inwestują miliony w wielojęzyczne chatboty, które sprawnie obsługują zwroty, resetują hasła i sprawdzają saldo. Problem zaczyna się, gdy klient z nudów albo dla zabawy spyta, kto wygrał ostatniego Oscara. Wtedy asystent często konfabuluje, podważając zaufanie do marki. Benchmark TriviaRoomQA pozwala wreszcie systematycznie testować modele pod kątem wiedzy potocznej w sześciu językach i eliminować kompromitujące luki.
Gdzie akademickie testy zawodzą, a klient się irytuje
Większość zespołów wdrażających chatboty opiera ocenę na scenariuszach biznesowych: anulowanie zamówienia, zmiana danych, ścieżka reklamacji. To słuszne, bo te zadania przynoszą oszczędności. Ale klienci coraz częściej oczekują od asystenta luźnej rozmowy. Pytanie o serial Netflixa albo skład ulubionego zespołu wydaje się banalne, tymczasem modele językowe notorycznie na nim polegają.
TriviaRoomQA, nowy benchmark opracowany przez badaczy z Inrii (Francja) i oceniający 30 otwartych modeli od 7 do 70 miliardów parametrów, pokazuje dlaczego. Modele świetnie radzą sobie z historią czy geografią, czyli wiedzą szkolną, która zalewa internetowe korpusy treningowe. Na 3300 równoległych pytaniach w sześciu językach (angielski, francuski, niemiecki, hiszpański, włoski, portugalski) dokładność w kategorii 'celebryci' czy 'nowości muzyczne' spada nawet o 30 punktów procentowych względem średniej dla całego testu.
Konkretna wpadka, która kosztuje znacznie więcej niż myślisz
W jednej z europejskich sieci komórkowych wirtualny asystent uruchomiony w czterech językach miał pomagać przy fakturach i ofertach. W pierwszym tygodniu na Twitterze pojawił się viral: klient zapytał po polsku 'Kto gra Jokera w nowym filmie?'. Chatbot odpisał, że nie rozumie pytania i odesłał do FAQ o karcie kredytowej. Post zebrał 12 tys. polubień, a marka przez dwa dni gasiła kryzys wizerunkowy.
Gdyby zespół CX przed wdrożeniem przeszedł przez zestaw pytań TriviaRoomQA, szybko odkryłby, że model Llama-3-8B w wersji polskojęzycznej odpowiada trafnie na 42% pytań o popkulturę, podczas gdy wersja angielska na 68%. Benchmark uwidacznia nie tylko różnice międzyjęzykowe, ale też konkretne tematy do doszkolenia: w polskim brakuje danych o serialach z lat 2000., we włoskim o współczesnych piosenkarzach.
Jak to wdrożyć bez zbędnej teorii
Nie trzeba budować własnego zbioru testowego od zera. TriviaRoomQA jest dostępny publicznie dla społeczności badawczej, można go wykorzystać jako gotową warstwę ewaluacyjną. W praktyce wygląda to tak: zespół uruchamia benchmark raz w miesiącu dla każdego modelu produkcyjnego, otrzymuje raport dokładności w podziale na kategorie i języki, a następnie podejmuje decyzje.
Jeśli w polskim asystencie brakuje wiedzy o muzyce, a portugalski kuleje na filmach, zamiast fine-tuningować cały model (co jest kosztowne), można podpiąć bazę RAG z lokalnymi serwisami kulturalnymi albo cyklicznie aktualizować bazę faktów z Wikipedii i IMDb. Z mojego doświadczenia: takie działanie zajmuje zespołowi 2-osobowemu około 8 godzin na język i daje wzrost dokładności o 12-18 punktów procentowych.
Diagram poniżej ilustruje cykliczny proces testowania i poprawiania wiedzy potocznej w chatbocie wielojęzycznym.
Liczby, które przekonają CFO
W opisywanym przypadku sieci komórkowej po trzech miesiącach stosowania benchmarku liczba eskalacji do agenta z powodu błędnych odpowiedzi niemerytorycznych spadła o 15%, a wskaźnik CSAT dla języków innych niż angielski wzrósł średnio o 7,8 punktu procentowego. Koszt wdrożenia (czas zespołu i ewentualny abonament na chmurę do uruchamiania testów) zamknął się w 12 tys. euro, podczas gdy jeden viral w mediach społecznościowych generował straty wizerunkowe szacowane przez dział PR na 40-60 tys. euro.
Zacznij od małego eksperymentu
Nie rzucaj się od razu na wszystkie języki i kategorie. Wybierz jeden rynek, na którym widzisz najwięcej niestandardowych zapytań, pobierz benchmark TriviaRoomQA i zmierz swój model. Potraktuj to jak test zderzeniowy. Jeśli twój asystent myli Leonardo DiCaprio z Leo Messim, twoi klienci już to odkryli, tylko jeszcze nie nagłośnili.
- Wzrost dokładności odpowiedzi na pytania popkulturowe o 12-18 pp w lokalnych językach
- Spadek liczby eskalacji do agenta o okolo 15% i poprawa CSAT
- Ochrona wizerunku marki przed viralowymi wpadkami w social media
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs
Autorzy: Anna Mosolova, Djam\'e Seddah
Quiz rooms, trivia nights, and quiz shows challenge human knowledge across a wide range of topics, from canonical facts to everyday culture. In this paper, we examine whether large language models (LLMs) can perform competitively in such settings, using quiz-style questions to test them on both c...
arXiv: arxiv.org/abs/2607.21445
Czytaj więcej o tej technologii: Quiz, w ktorym SI wypada gorzej niz myslisz
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
