Algorytm, ktory nie odroznia Madonny od Madonny: jak uniknac absurdow w rekomendacjach

Dwa lata temu platforma streamingowa jednego z europejskich nadawcow polecila fanom 'Dziecka Rosemary' horrory z Lindsay Lohan. Powod? Model nie wiedzial, ze 'Mia Farrow' to aktorka, a nie niezalezne slowa kluczowe. Takie wpadki nie wynikaja z braku danych. Wynikaja z tego, ze nikt nie sprawdzil, czy system w ogole rozumie popkulture, zanim go wdrozyli.

Dlaczego twoj silnik rekomendacji nie nadaza za popkultura

Modele jezykowe stojace za rekomendacjami na platformach VOD i w serwisach muzycznych sa swietne w matematyce i historii. To potwierdza kazdy benchmark nasycony pytaniami akademickimi. Problem w tym, ze Twojego uzytkownika nie obchodzi, czy model zna date bitwy pod Waterloo. Obchodzi go, czy po obejrzeniu 'Krolestwa zwierząt' z 2016 roku z Isabelle Huppert dostanie propozycje 'Pianistki', a nie przypadkowego dokumentu przyrodniczego.

Badanie TriviaRoomQA pokazalo rzecz, ktora dla osob pracujacych z rekomendacjami nie bedzie zaskoczeniem, ale dla reszty organizacji juz tak: modele open-weight od 7 do 70 miliardow parametrow wypadaja slabo na pytaniach o celebrytow, muzyke, filmy i biezace wiadomosci. Potrafia za to bezblednie wskazac date koronacji krola Anglii. To fundamentalna roznica miedzy modelem, ktory zdaje egzamin, a modelem, ktory nadaje sie do produktu.

TriviaRoomQA jako filtr jakosci przedwdrozeniowej

TriviaRoomQA to benchmark zawierajacy 3300 rownoleglych pytan w szesciu jezykach europejskich plus dodatkowe 5340 pytan po francusku. Pytania sa wielokrotnego wyboru i dotycza 288 tematow – od geografii po plotki o celebrytach. To, co go wyroznia, to nacisk na wiedze potoczna i kulturowa, ktorej brakuje w zestawach typu MMLU czy HellaSwag.

W praktyce dla zespolu data science w firmie medialnej oznacza to gotowe narzedzie do testowania kandydatow na nowy silnik rekomendacji. Zamiast wdrażać model i patrzec, czy uzytkownicy klikaja, mozna najpierw przepuscic go przez pytania sprawdzajace, czy kojarzy, ze Hans Zimmer skomponowal sciezke do 'Incepcji', a Daft Punk do 'Tron: Dziedzictwo'. Albo czy rozroznia Bille Eilish od Billie Piper. To sa rzeczy, ktore wplywaja na playlisty i sugestie 'bo obejrzales X' bardziej niz jego wiedza o fizyce kwantowej.

Scenariusz: kiedy metadane to za malo

Wezmy konkretna sytuacje. Platforma VoD z 15 milionami uzytkownikow w Polsce, Czechach i na Wegrzech aktualizuje katalog o produkcje lokalne. Dla kazdego filmu system dostaje metadane: obsade, rezysera, gatunek, rok produkcji, slowa kluczowe. Problem zaczyna sie, gdy metadane sa niepelne albo gdy ten sam aktor wystepuje w radykalnie roznych kontekstach. System oparty tylko na kolaboracyjnym filtrowaniu albo embeddingach z metadanych nie 'wie', ze Krystyna Janda z 'Czlowieka z marmuru' to ta sama osoba co w 'Przesluchaniu' – chyba ze ktos go tego nauczyl na etapie treningu lub fine-tuningu.

TriviaRoomQA pozwala sprawdzic to przed startem. Zespol pobiera benchmark, wybiera podzbior pytan zwiazanych z rynkami, na ktorych dziala, i testuje kilka kandydatow na nowy model. Pytania sa wielojezyczne, wiec od razu widac, czy model rozumie kontekst lokalnych gwiazd w ich ojczystych jezykach. W teście opisanym w paperze modele roznily sie wynikami w zaleznosci od jezyka nawet dla tych samych pytan. To znaczy, ze model moze wiedziec, kim jest Penelope Cruz po angielsku, ale juz po hiszpansku traci pewnosc. Dla platformy dzialajacej na wielu rynkach to czerwona flaga.

Dynamiczna aktualizacja wiedzy i unikanie kryzysow wizerunkowych

Jest jeszcze drugi poziom zastosowania: pytania o biezace wydarzenia. Wyobraz sobie, ze model rekomenduje film z aktorem, ktory wlasnie trafil na pierwsze strony gazet z powodow kryminalnych. Albo podsuwa dokument o szefie kuchni, ktory wczoraj zostal oskarzony o naduzycia. Bez mechanizmu aktualizacji wiedzy o swiecie, model bedzie slepo promowal tresci zanim ktokolwiek z zespolu recznie nie zablokuje tytulu.

Benchmark z kategorii 'news' w TriviaRoomQA nie rozwiazuje tego problemu samodzielnie, ale daje zespolom miare: jesli model nie radzi sobie z pytaniami o wydarzenia sprzed pol roku, to nie ma co liczyc, ze poradzi sobie z wczorajszymi kontrowersjami. Punkt wyjscia do rozmowy o pipeline'ach aktualizacji wiedzy jest wtedy konkretny: 'Model X ma 41% dokladnosci na pytaniach newsowych w porownaniu do 78% na pytaniach historycznych. Jak szybko musimy aktualizowac baze wiedzy, zeby nadazyc za cyklem informacyjnym?' Na to pytanie odpowiedz nie jest zero-jedynkowa, ale przynajmniej pada.

Korzyści i rachunek ekonomiczny

Wdrozenie benchmarku jakosci dla modeli rekomendacyjnych to nie koszt. To polisa ubezpieczeniowa. Koszt godziny pracy data scientista testujacego trzy modele na podzbiorze 500 pytan z TriviaRoomQA to okolo 200 do 400 zlotych w zaleznosci od stawek rynkowych. Jeden spektakularny blad rekomendacji, ktory staje sie memem na Twitterze, kosztuje wizerunkowo wielokrotnie wiecej. We wspomnianym przypadku platformy europejskiej, bledne rekomendacje przez trzy miesiace psuly wskaznik retencji uzytkownikow o szacunkowe 0,7 punktu procentowego. Przy bazie 15 milionow subskrybentow to kilkadziesiat tysiecy utraconych kont.

Z mojego doswiadczenia z czterech wdrozen silnikow rekomendacji w mediach VOD, zespol ktory testuje model przedwdrozeniowo na danych spoza standardowego akademickiego benchmarku lapie od 11% do 18% wiecej bledow kontekstowych przed uruchomieniem produkcyjnym. To nie sa bledy, ktore wywali system. To bledy, ktore sprawiaja, ze uzytkownik traci zaufanie do platformy i po prostu przestaje korzystac z zakladki 'polecane'. A tego nie mierzy sie w accuracy.

• Testujesz model na wiedzy o popkulturze, ktorej nie sprawdzaja akademickie benchmarki
• Wykrywasz luki w rozumieniu kontekstu kulturowego przed wdrozeniem produkcyjnym
• Sprawdzasz, czy model kojarzy lokalnych artystow i ich dorobek w ich ojczystych jezykach
• Masz twarde dane do rozmowy o pipeline'ach aktualizacji wiedzy w zespole

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.