AI ślepo ufa popularnym źródłom. Większe modele nie rozwiązują tego problemu

Wyobraź sobie, że czytasz dwie informacje na ten sam temat. Jedna pochodzi z recenzowanego czasopisma naukowego, druga z anonimowego forum. Której dasz więcej wiary? Dla człowieka to oczywiste. Dla modeli językowych, jak się okazuje, już nie. Zespół z University of Michigan przebadał 13 modeli w prawie 670 tysiącach prób i znalazł coś, co powinno zaniepokoić każdego, kto podłącza LLM-a do internetu.

Co to znaczy ważyć informacje

Badacze pod kierownictwem Joshuy Ashkinaze nazwali tę umiejętność 'rozeznaniem informacyjnym' (information discernment). Rozbili ją na dwa wymiary, oba dość intuicyjne.

Pierwszy to rozeznanie źródeł (source discernment). Chodzi o to, czy model aktualizuje swoje przekonania bardziej, gdy informacja pochodzi z wiarygodnego źródła, a mniej, gdy ze źródła niewiarygodnego. Drugi wymiar to rozeznanie prawdy (truth discernment): czy model aktualizuje przekonania bardziej, gdy nowa informacja przybliża jego dotychczasową wiedzę do prawdy, a mniej, gdy od niej oddala.

Te kryteria nie są akademickim wymysłem. Zespół Ashkinaze przeprowadził badanie na 299 użytkownikach LLM-ów, żeby sprawdzić, czy ludzie faktycznie oczekują od modeli takiego zachowania. Wyniki były jednoznaczne: użytkownicy uznają te zasady za normatywne, a ich łamanie obniża zaufanie i chęć korzystania z narzędzia. Krótko mówiąc, jeśli model nie odróżnia wiarygodnego źródła od śmieciowego, użytkownicy tracą do niego zaufanie. Słusznie.

670 tysięcy prób, 13 modeli

Żeby zmierzyć rozeznanie informacyjne, autorzy zbudowali framework Learn2Discern (L2D). Działa prosto: model dostaje pytanie, formułuje początkową odpowiedź (prior), a potem otrzymuje zewnętrzną informację od źródła o znanej wiarygodności. Informacja albo przybliża prior do prawdy, albo od niego oddala. Badacze mierzą, jak bardzo model zmienia swoje stanowisko.

Przetestowali 13 modeli w prawie 670 tysiącach prób. Wyniki są, delikatnie mówiąc, słabe. Modele radzą sobie na poziomie przypadku w obu wymiarach rozeznania. Polegają na popularności źródła dwa razy bardziej niż na jego wiarygodności. Innymi słowy, model chętniej ufa informacji z popularnej strony niż z mniej znanego, ale rzetelnego źródła. I aktualizują swoje przekonania mniej więcej tak samo niezależnie od tego, czy nowa informacja przybliża je do prawdy, czy od niej oddala.

Jest w tym coś niepokojącego. Model, który z równą łatwością przyjmuje prawdę i fałsz, nie jest neutralny. Jest podatny na manipulację. Każdy, kto kiedykolwiek widział, jak LLM pewnie recytuje błędną informację z czyjegoś bloga, właśnie dostał naukowe potwierdzenie swoich obaw.

Modele radzą sobie na poziomie przypadku w rozeznaniu źródeł i prawdy, polegają na popularności źródła dwa razy bardziej niż na jego wiarygodności i aktualizują swoje przekonania mniej więcej tak samo niezależnie od tego, czy nowa informacja przybliża je do prawdy, czy od niej oddala.

Ashkinaze i wsp.

Abstrakt pracy

Ślepa plamka, której rozmiar nie leczy

Jest jeden wynik w tym badaniu, który szczególnie daje do myślenia. Nowsze i większe modele faktycznie lepiej radzą sobie z rozeznaniem prawdy. Ich zdolność do oceny, czy nowa informacja przybliża je do poprawnej odpowiedzi, rośnie wraz ze skalą. Ale rozeznanie źródeł nie poprawia się wcale.

Ashkinaze i zespół nazywają to ślepą plamką, 'której złożoność modelu nie leczy'. To ważne, bo sugeruje, że samo skalowanie modeli nie wystarczy. Umiejętność oceny wiarygodności źródła wymaga czegoś innego niż umiejętność oceny prawdziwości twierdzenia. Większy model nie znaczy bardziej krytyczny wobec tego, skąd pochodzi informacja.

Badacze odkryli też coś, co brzmi znajomo dla każdego, kto obserwuje ludzkie zachowania. Modele najlepiej integrują zewnętrzną wiedzę na tych zbiorach danych, gdzie ich początkowe przekonania już są najtrafniejsze. To trochę jak z człowiekiem, który chętnie przyjmuje nowe informacje tylko wtedy, gdy potwierdzają to, co już wie. Zjawisko znane psychologom, teraz udokumentowane u maszyn.

Proste poprawki przy wnioskowaniu

Nie wszystko jest stracone. Autorzy pokazali, że proste interwencje w czasie wnioskowania (inference-time interventions) mogą poprawić oba rodzaje rozeznania. Nie chodzi o kosztowne dotrenowywanie modelu ani zmianę architektury. Wystarczy odpowiednio pokierować zachowaniem modelu w momencie, gdy przetwarza zewnętrzną informację.

Szczegóły techniczne tych interwencji nie są w ekstrakcie opisane dokładnie, ale sam fakt, że lekkie poprawki działają, jest zachęcający. Sugeruje, że problem nie leży w fundamentalnej niezdolności modeli do ważenia informacji. Leży w tym, jak domyślnie przetwarzają kontekst. Jeśli da się to skorygować prostym promptem albo lekką modyfikacją pipeline'u, to znaczy, że architektura jest w porządku, tylko domyślne zachowanie wymaga korekty.

Zastanawia mnie jedno: skoro interwencje przy wnioskowaniu działają, to dlaczego nie są domyślnym zachowaniem? Może producenci modeli zakładają, że użytkownicy sami zadbają o filtrowanie źródeł. A może po prostu nikt wcześniej nie zmierzył tego problemu tak systematycznie.

• Modele radzą sobie na poziomie przypadku w rozeznaniu źródeł i prawdy
• Popularność źródła waży dwa razy bardziej niż jego wiarygodność
• Modele aktualizują przekonania tak samo niezależnie od tego, czy informacja jest prawdziwa, czy fałszywa
• Większe modele lepiej odróżniają prawdę, ale nie poprawiają oceny wiarygodności źródeł
• Proste interwencje przy wnioskowaniu mogą poprawić oba rodzaje rozeznania

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

AI w kancelarii: jak przestać cytować blogi zamiast ustaw i uniknąć katastrofy

Dwa lata temu znajomy partner w butikowej kancelarii opowiedział mi, że jego asystent AI w odpowiedz

Asystent lekarza odporny na modne terapie

Szpitale wydają miliony na leki, które mają słabe podstawy naukowe, bo jeden głośny przypadek lub ka

Detektor plotki giełdowej: dlaczego AI musi nauczyć się ważenia źródeł

Zarządzający aktywami coraz częściej używają modeli AI do analizy napływających informacji rynkowych

Korepetytor AI nie musi uczyć bzdur z Wikipedii

Platformy e-learningowe wdrażają generatywne tutory, ale modele językowe mają ślepy zaułek: ufają po

Podsumowanie

Dla firm budujących systemy RAG albo podłączających LLM-y do wewnętrznych baz dokumentów, wyniki tego badania to sygnał ostrzegawczy. Samo podłączenie modelu do korpusu dokumentów nie wystarczy, jeśli model nie odróżnia audytowanego raportu od notatki ze spotkania. W obszarach takich jak analiza prawna (gdzie precedens z Sądu Najwyższego waży inaczej niż komentarz na blogu), diagnostyka medyczna (gdzie badanie kliniczne to nie to samo co wpis na forum) czy analiza finansowa (gdzie raport audytowany różni się od plotki rynkowej), brak rozeznania źródeł może prowadzić do kosztownych błędów. Dobra wiadomość jest taka, że proste interwencje przy wnioskowaniu działają. Zła: nie można po prostu kupić większego modelu i uznać problemu za rozwiązany.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.