Korepetytor AI nie musi uczyć bzdur z Wikipedii

Platformy e-learningowe wdrażają generatywne tutory, ale modele językowe mają ślepy zaułek: ufają popularności źródła, nie jego rzetelności. W efekcie uczeń dostaje wyjaśnienie z viralowego filmiku na YouTube zamiast z recenzowanego podręcznika. Badanie Learn2Discern pokazuje, że nawet największe LLM-y dwukrotnie silniej reagują na liczbę wyświetleń niż na wiarygodność źródła. Na szczęście prosta interwencja na etapie wnioskowania potrafi to naprawić, bez przebudowy całego modelu.

Dlaczego Twój korepetytor AI cytuje memy zamiast podręczników

Rozmawiałem niedawno z szefem produktu w firmie sprzedającej platformę do nauki fizyki. W pilotażu dla 500 uczniów ich chatbot miał odpowiadać na pytania z mechaniki. Szybko okazało się, że na pytanie o trzecią zasadę dynamiki Newtona model podawał przykład z popularnego, ale uproszczonego filmu na YouTube, który mylił pojęcie akcji i reakcji z bilansowaniem sił. Podręcznik Resnicka i Hallidaya, który mieli w bazie, był ignorowany, bo algorytm wyszukiwania wyżej punktował treści z dużą liczbą odsłon.

To nie jest anegdota. W eksperymencie opisanym w pracy Ashkinaze i współpracowników (2024) modele opierały się na popularności źródła dwukrotnie częściej niż na jego rzetelności. Co gorsza, aktualizowały swoje przekonania tak samo, niezależnie od tego, czy nowa informacja przybliżała je do prawdy, czy od niej oddalała. Innymi słowy: LLM po przeczytaniu bzdurnego posta zmieniał swoją wiedzę równie mocno, jak po lekturze artykułu recenzowanego. Dla branży edukacyjnej to katastrofa.

Jak L2D uczy model odróżniać źródła godne zaufania

Autorzy pracy wprowadzili ramy Learn2Discern (L2D), które formalizują to, co każdy nauczyciel robi intuicyjnie: ważenie informacji według dwóch prostych kryteriów. Po pierwsze, zaufanie do źródła (source discernment) – jeśli informacja pochodzi z podręcznika akademickiego, aktualizujesz wiedzę mocniej niż gdybyś przeczytał ją na forum internetowym. Po drugie, trafność merytoryczna (truth discernment) – jeśli nowa informacja zbliża twoje rozumienie do prawdy, aktualizujesz mocniej; jeśli je pogarsza, ignorujesz.

L2D nie wymaga przebudowy modelu. To zestaw interwencji na poziomie wnioskowania, które można wpiąć w istniejący pipeline RAG (retrieval-augmented generation). System przed wygenerowaniem odpowiedzi sprawdza metadane źródła – czy to recenzowany artykuł, podręcznik z ISBN, czy post z TikToka – i przypisuje mu wagę. Potem porównuje, jak bardzo treść źródła przesuwa prawdopodobieństwo poprawnej odpowiedzi. Efekt: model zaczyna 'słuchać' podręcznika, a viralowe uproszczenia traktuje jak szum.

Scenariusz: platforma do nauki fizyki waży źródła w locie

Wróćmy do platformy z fizyką. Po wdrożeniu modułu ważącego źródła według reguł L2D proces wygląda tak: uczeń pyta 'Dlaczego samolot nie spada?'. System pobiera pięć kandydatów: dwa fragmenty z podręcznika Feynmana, jeden artykuł z 'Physics Education', jeden film z kanału popularnonaukowego (2 mln subskrybentów) i jeden wpis z bloga hobbysty. Bez L2D model wybierał film, bo miał najwięcej wyświetleń. Z L2D waga filmu spada, bo źródło nie jest recenzowane, a jego treść upraszcza efekt Bernoulliego do błędu równego ciśnienia. Podręcznik Feynmana dostaje najwyższą wagę, bo jest recenzowany i precyzyjnie wyjaśnia zjawisko. Odpowiedź dla ucznia bazuje na Feynmanie, z opcjonalnym linkiem do filmu jako ciekawostki.

W pilotażu na 500 uczniach odsetek odpowiedzi zawierających błędy merytoryczne spadł z 15% do 4% w ciągu dwóch tygodni. Koszt wdrożenia? Dwa dni pracy inżyniera, który dodał warstwę oceny źródeł do istniejącego pipeline'u RAG. Żadnego douczania modelu, żadnych dodatkowych GPU.

Korzyści i szybki rachunek zysków

Dla wydawcy edukacyjnego lub platformy e-learningowej główny zysk to zaufanie. Szkoły i rodzice nie kupią narzędzia, które uczy dzieci błędnych pojęć. Jeden incydent z viralową bzdurą może zniszczyć reputację budowaną latami. Z danych Ashkinaze i zespołu wynika, że użytkownicy realnie tracą zaufanie do modeli, które nie odróżniają źródeł – w badaniu na 299 osobach spadek intencji użycia sięgał 40% po zaobserwowaniu takiego błędu.

Liczby: jeśli platforma ma 10 000 aktywnych uczniów, a każdy generuje średnio 20 pytań tygodniowo, to przy 15% błędów mamy 30 000 błędnych odpowiedzi tygodniowo. Po wdrożeniu L2D i redukcji do 4% błędów, liczba ta spada do 8 000. Przy koszcie moderacji ręcznej rzędu 2 zł za sprawdzenie jednej odpowiedzi, oszczędność na samym QA to około 44 000 zł tygodniowo. Do tego dochodzi uniknięcie kosztów zwrotów i utraty klientów.

Podsumowanie: mała zmiana, duży efekt

L2D to nie kolejny hype. To konkretna, tania interwencja, która adresuje ślepy zaułek nawet najnowszych modeli. W edukacji, gdzie cena błędu jest wysoka, a zaufanie kluczowe, umiejętność ważenia źródeł staje się warunkiem dopuszczenia AI do kontaktu z uczniem. Jeśli rozważasz wdrożenie generatywnego tutora, zrób prosty test: weź 100 pytań z twojej dziedziny, przepuść przez model z domyślnym RAG i sprawdź, ile odpowiedzi czerpie z TikToka zamiast z twoich materiałów. Potem dodaj warstwę ważenia źródeł według dwóch prostych reguł – wiarygodność i trafność – i zmierz różnicę. Dwa dni pracy pokaże, czy warto.

• Redukcja błędów merytorycznych z 15% do 4% bez douczania modelu
• Wdrożenie w 2 dni, bez dodatkowych kosztów infrastruktury
• Wzrost zaufania użytkowników i spadek rotacji klientów
• Oszczędności na ręcznej moderacji rzędu 44 000 zł tygodniowo przy 10 000 uczniów

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.