96,7% zmyśleń: dlaczego sztuczna inteligencja nie potrafi napisać prawdziwego pamiętnika

Wyobraź sobie, że ktoś pisze twoją biografię, znając tylko twój szablon dnia i dwa przykładowe wpisy. Heather Renze zrobiła to z pomocą AI i sprawdziła, ile z tego jest prawdą. Wynik? 354 z 366 dni to czysta fikcja, nawet jeśli brzmi wiarygodnie.

Pamiętnik pisany przez AI: eksperyment

Renze, która jest jednocześnie autorką i podmiotem badania, wzięła konwersacyjny model językowy i kazała mu wygenerować 366-dniowy dziennik w pierwszej osobie. Model dostał tylko szablon, dwa przykładowe dni i codzienny cytat jako inspirację. Nie miał dostępu do żadnych osobistych danych, maili, zdjęć czy notatek. Miał udawać, że jest nią.

Potem każdy dzień został skonfrontowany z niezależnym zbiorem dokumentów opisującym jej prawdziwe życie. Użyła czterostopniowej skali: VERIFIED (potwierdzone), WEAK (słabe), UNVERIFIED (niepotwierdzone) i CONTRADICTED (sprzeczne). Celem było zmierzenie, jak często AI 'konfabuluje', czyli generuje treści brzmiące sensownie, ale nieprawdziwe.

Grounded drift, czyli prawdziwi ludzie w zmyślonych scenach

Najczęstszym grzechem nie były całkowite halucynacje. Model nie wymyślał nowych osób czy miejsc z kosmosu. Zamiast tego brał prawdziwe elementy (pracodawców, znajomych, lokalizacje) i wplatał je w wydarzenia, które nigdy się nie wydarzyły. Renze nazywa to 'grounded drift': dryfowanie na fundamencie rzeczywistości.

To szczególnie podstępne. Czytając taki pamiętnik, rozpoznajesz nazwiska i adresy, więc nabierasz zaufania. Ale scena (rozmowa, wyjazd, konflikt) jest zmyślona. Jakby ktoś wziął twoje zdjęcia z Instagrama i ułożył z nich historię, która nigdy nie miała miejsca.

354 z 366 dni zawodzi, 96,7% (95% przedział ufności Wilsona 94,4-98,1%).

Heather Renze

arXiv:2608.23640, Abstract

Dlaczego 96,7% to porażka

Liczby są bezlitosne. Tylko 12 dni (3,3%) zawierało scenę, którą dało się pozytywnie potwierdzić. 19 dni (5,2%) zawierało twierdzenia wprost sprzeczne z udokumentowanymi faktami. Cała reszta, czyli 354 dni, nie przeszła weryfikacji. Nawet jeśli coś nie było jawnym kłamstwem, nie dało się tego udowodnić.

Renze obliczyła 95-procentowy przedział ufności Wilsona: od 94,4% do 98,1%. To nie jest przypadek ani błąd statystyczny. Niezależna osoba powtórzyła ocenę i dostała podobny wynik, choć czterostopniowa taksonomia pokazała tylko umiarkowaną zgodność między oceniającymi. Mimo to główna konkluzja jest jasna: model nie umie pisać prawdziwego dziennika.

Czy można to naprawić? Próba uziemienia

Potem zrobiła dwie rzeczy. Po pierwsze, wygenerowała te same dni jeszcze raz, używając współczesnych modeli (tych samych, które dostajemy w komercyjnych usługach). Wynik? 100% porażki weryfikacji. Zero dni potwierdzonych. Po drugie, spróbowała 'uziemić' generację: dała modelowi dostęp do swojego osobistego korpusu, czyli prawdziwych dokumentów.

To pomogło, ale nie uratowało sytuacji. Wskaźnik porażki spadł, ale wciąż 83,3% dni nie przeszło weryfikacji. Uziemienie poprawia wynik, ale nie likwiduje konfabulacji. Model nadal wypełnia luki wyobraźnią, nawet gdy ma pod nosem fakty.

Co to oznacza dla nas?

Ten eksperyment nie jest tylko akademicką ciekawostką. Jeśli AI nie umie napisać prawdziwego dziennika osoby, której życie jest udokumentowane, to jak ma pisać raporty, biografie, podsumowania spotkań? W biznesie coraz częściej słyszymy o agentach AI generujących notatki czy analizy. Ale jeśli one 'dryfują' na prawdziwych nazwiskach, ryzyko dezinformacji jest ogromne.

AI nie jest zła; po prostu nie zdaje sobie sprawy z własnej niewiedzy. Produkuje tekst, który brzmi dobrze, ale nie ma pojęcia, czy jest prawdziwy. Bez twardego systemu weryfikacji, taki pamiętnik, czy jakikolwiek inny dokument, to fikcja literacka, a nie zapis rzeczywistości.

• 96,7% dni wygenerowanych przez AI nie zostało pozytywnie zweryfikowanych – tylko 12 z 366 dni miało potwierdzoną scenę.
• Główny problem to 'grounded drift': prawdziwe osoby i miejsca w zmyślonych wydarzeniach, a nie całkowite halucynacje.
• Nawet po uziemieniu modelu w prawdziwych dokumentach 83,3% dni nadal nie przeszło weryfikacji.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Kontrolowana fikcja: jak 96,7% zmyśleń AI stało się narzędziem redakcji kreatywnej

Wyobraź sobie narzędzie, które w dwie minuty generuje dwadzieścia wiarygodnych scen z życia znanego

Audytor AI do weryfikacji zeznań i oświadczeń

W kancelariach prawnych i działach compliance coraz częściej pojawiają się dokumenty pisane przy uży

96,7% zmyśleń w dokumentacji pacjenta: czemu kroniki tworzone przez AI są śmiertelnie niebezpieczne dla opieki długoterminowej

Dom opieki "Słoneczna Jesień" pod Warszawą przez trzy miesiące testował system automatycznych kronik

Biograf cyfrowy z wykrywaczem konfabulacji

Muzeum Literatury wydało 200 tysięcy złotych na interaktywną wystawę, gdzie AI opowiada anegdoty z ż

Podsumowanie

Eksperyment pokazuje, że nawet przy dostępie do prawdziwych danych, AI nie radzi sobie z odtworzeniem faktów bez konfabulacji. Dla branży medialnej i wydawniczej oznacza to, że automatyczne biografie czy reportaże wymagają ludzkiej weryfikacji. W biznesie, gdzie agenci AI generują notatki ze spotkań lub raporty, ryzyko 'dryfu' na prawdziwych nazwiskach może prowadzić do poważnych nieporozumień. Technologia ta może być użyteczna jako narzędzie wspomagające, ale nigdy jako samodzielny kronikarz.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.