Muzeum Literatury wydało 200 tysięcy złotych na interaktywną wystawę, gdzie AI opowiada anegdoty z życia pisarza. Problem? Według badań, modele językowe zmyślają w 96,7% przypadków, jeśli nie mają dostępu do zweryfikowanych źródeł. Dla instytucji dbających o dziedzictwo to ryzyko, którego nie można zignorować.
Jak działa cyfrowy biograf z wbudowanym audytem
Narzędzie łączy dwa moduły. Pierwszy generuje narracje na podstawie zdigitalizowanych archiwaliów: listów, zdjęć, kalendariów. Drugi natychmiast sprawdza każde wygenerowane zdanie, porównując je z korpusem weryfikacyjnym, czyli zbiorem potwierdzonych faktów. Wynik to kolorowa adnotacja: zielony dla potwierdzonych informacji, czerwony dla niezweryfikowanych, pomarańczowy dla sprzecznych z dokumentacją. Głównym zagrożeniem, które wykrywa system, jest 'ugruntowany dryf' - sytuacja, gdy AI umieszcza prawdziwe osoby i miejsca w fikcyjnych scenach. To właśnie ten mechanizm odpowiada za 96,7% porażek weryfikacji w badaniu Heather Renze. Co ciekawe, nawet gdy model ma dostęp do pełnego korpusu tekstów danej postaci, odsetek niepowodzeń spada tylko do 83,3%. To oznacza, że sama technologia wyszukiwania w dokumentach nie wystarczy - potrzebna jest dodatkowa warstwa audytu, którą oferuje to narzędzie.
Scenariusz: wirtualny spacer z pisarzem
Fundacja opiekująca się spuścizną poety planuje aplikację mobilną, która oprowadza zwiedzających po mieście, opowiadając 'dzień z życia' artysty. Zamiast ręcznego pisania scenariusza, zespół ładuje do systemu cyfrowe kopie listów, kalendarz spotkań i zdjęcia. AI generuje propozycję narracji na 15 czerwca 1925 roku. System audytuje każde zdanie. 'O 10:00 spotkanie z wydawcą' dostaje zieloną flagę, bo list potwierdza termin. 'Po południu pisał wiersz w parku' zostaje oznaczone na czerwono - brak dowodów. Kurator decyduje, czy użyć tylko potwierdzonych fragmentów, czy oznaczyć niepewne jako hipotezy. W ten sposób muzeum unika powielania mitów, a zwiedzający dostaje uczciwą informację o granicach wiedzy historycznej.
Korzyści i zwrot z inwestycji
Ręczna weryfikacja 100 anegdot przez historyka zajmuje około 40 godzin. System wykonuje audyt w kilka minut, zostawiając ekspertowi decyzje merytoryczne. Dla wydawnictwa przygotowującego biografię to oszczędność rzędu 15-20 tysięcy złotych przy jednym projekcie. Dodatkową wartością jest wskaźnik niepowodzenia weryfikacji, który można wykorzystać do porównywania modeli AI. Jeśli jeden model ma 96,7% porażek, a drugi po 'uziemieniu' w korpusie 83,3%, różnica jest mierzalna i może decydować o wyborze dostawcy. Jeden błędny cytat w biografii potrafi kosztować wydawcę utratę wiarygodności na lata. Z moich rozmów z archiwistami wynika, że wolą oni puste pole w narracji niż fałszywą historię. To narzędzie daje im kontrolę.
Podsumowanie
Zanim muzeum wdroży wirtualnego przewodnika opartego na AI, warto przeprowadzić audyt wiarygodności. Koszt błędu historycznego, który potem cytują media i przewodniki, jest wysoki. Narzędzie z wykrywaczem konfabulacji nie wyeliminuje potrzeby nadzoru człowieka, ale drastycznie skraca czas potrzebny na oddzielenie faktów od zmyśleń. W branży, gdzie prawda historyczna jest walutą, taka inwestycja szybko się zwraca.
- Redukcja ryzyka dezinformacji historycznej
- Oszczędność czasu przy weryfikacji faktów
- Możliwość porównywania modeli AI pod kątem wiarygodności
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes
Autorzy: Heather Renze
When a large language model (LLM) is asked to write a person's life, how much of what it writes actually happened? We present a scene-level case-study audit - the first quantified audit of LLM-generated autobiography against a subject-specific ground-truth corpus that we are aware of, based on an...
arXiv: arxiv.org/abs/2608.23640
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
