Audytor AI do weryfikacji zeznań i oświadczeń

W kancelariach prawnych i działach compliance coraz częściej pojawiają się dokumenty pisane przy użyciu narzędzi AI. Oświadczenia świadków, raporty z incydentów, deklaracje majątkowe: wszystko to można teraz wygenerować w kilka minut. Problem w tym, że sztuczna inteligencja nie odróżnia prawdy od fikcji. Z najnowszego badania wynika, że 96,7% wygenerowanych przez AI zapisów pamiętnikarskich nie znalazło potwierdzenia w rzeczywistym korpusie dowodowym. Dominującym błędem jest 'ugruntowany dryf': prawdziwe osoby i miejsca wplecione w zmyślone sceny. Dla prawnika oznacza to, że dokument stworzony przez AI może wyglądać wiarygodnie, a jednocześnie zawierać fałszywe informacje, które trudno wychwycić gołym okiem.

Czteropoziomowa rubryka weryfikacji

Metoda opisana w badaniu Heather Renze daje konkretne narzędzie do mierzenia wiarygodności treści generowanych przez AI. Każde twierdzenie w dokumencie jest konfrontowane z niezależnym korpusem dowodowym (e-maile, kalendarze, wyciągi bankowe, inne zeznania) i otrzymuje jedną z czterech etykiet: ZWERYFIKOWANE, SŁABE, NIEZWERYFIKOWANE lub SPRZECZNE. Kluczowym wskaźnikiem jest wskaźnik niepowodzenia weryfikacji, czyli odsetek twierdzeń, których nie udało się pozytywnie potwierdzić. W eksperymencie z pamiętnikiem wyniósł on 96,7% (przedział ufności Wilsona 94,4-98,1%).

Dla prawnika najgroźniejszy jest 'ugruntowany dryf': realne podmioty (osoby, firmy, adresy) osadzone w zdarzeniach, które nigdy nie miały miejsca. Taki dokument miesza prawdę z fikcją i na pierwszy rzut oka nie budzi podejrzeń. Automatyczny audytor AI, działający według czteropoziomowej rubryki, potrafi w kilka minut prześwietlić setki stron i wskazać fragmenty wymagające ręcznej kontroli.

Scenariusz: zeznanie świadka w sporze gospodarczym

Wyobraźmy sobie kancelarię obsługującą spór o wartości 8 milionów złotych. Kluczowy świadek składa obszerne pisemne zeznanie, rzekomo oparte na osobistych notatkach, ale w rzeczywistości wygenerowane z pomocą asystenta AI. Audytor AI porównuje każdy akapit z korpusem dowodowym: kalendarzami zarządu, fakturami, bilingami telefonicznymi i zeznaniami pozostałych świadków. Wynik: 78% twierdzeń oznaczonych jako NIEZWERYFIKOWANE, a 12% jako SPRZECZNE. Jeden z akapitów opisuje lunch z prezesem w warszawskiej restauracji 12 marca 2024 roku. Kalendarz prezesa pokazuje, że tego dnia był na konferencji w Berlinie. To klasyczny ugruntowany dryf: prawdziwa osoba, prawdziwa restauracja, ale zdarzenie zmyślone.

Raport audytora zawiera wskaźnik niepowodzenia weryfikacji na poziomie 0,90. Kancelaria wykorzystuje go, by podważyć wiarygodność zeznania przed sądem. Sędzia wyłącza dokument z materiału dowodowego, a sprawa kończy się ugodą na warunkach korzystnych dla klienta. Bez audytora AI ręczna weryfikacja 30-stronicowego zeznania zajęłaby doświadczonemu prawnikowi około 20 godzin i mogłaby nie wychwycić wszystkich subtelnych niezgodności.

Korzyści i rachunek ekonomiczny

Z mojego doświadczenia, w dwóch kancelariach, z którymi współpracowałem, ręczna weryfikacja jednego złożonego oświadczenia majątkowego zajmowała średnio 15 godzin pracy senior associate. Przy stawce 250 zł za godzinę daje to 3750 zł za dokument, a w dużej sprawie takich dokumentów może być kilkanaście. Audytor AI wykonuje pierwszą selekcję w kilka minut, wskazując tylko te fragmenty, które wymagają ludzkiej oceny. Szacuję, że pozwala to skrócić czas weryfikacji o 60-70%.

Dla ubezpieczycieli analizujących roszczenia wartość jest jeszcze bardziej wymierna. Jeśli automatyczne prześwietlenie 10 000 narracji szkodowych pozwoli wychwycić 2% fałszywych roszczeń, przy średniej wartości roszczenia 15 000 złotych, oszczędność sięga 3 milionów złotych. Wdrożenie systemu audytu AI to wydatek rzędu 20-50 tysięcy złotych rocznie, czyli ułamek potencjalnych strat. Dodatkowo wskaźnik niepowodzenia weryfikacji może stać się standardowym KPI w raportach compliance, dając zarządowi twardą liczbę zamiast ogólnych ocen 'wiarygodności'.

Nie ufaj, sprawdzaj

Badanie Renze pokazuje coś jeszcze: nawet gdy generowanie tekstu jest uziemione w osobistym korpusie autora, 83,3% dni wciąż nie przechodzi weryfikacji. To znaczy, że samo 'podłączenie' AI do firmowych dokumentów nie rozwiązuje problemu. Każde oświadczenie, raport czy zeznanie stworzone z pomocą sztucznej inteligencji trzeba traktować jako materiał wymagający audytu. Proponuję zacząć od pilotażu: weźcie 20 ostatnich spraw, w których pojawiły się dokumenty pisane przez AI, i przepuśćcie je przez czteropoziomową rubrykę. Porównajcie wyniki z dotychczasową oceną ręczną. Jeśli w co piątym dokumencie znajdziecie sprzeczne lub niezweryfikowane twierdzenia, to macie jasny sygnał, że audytor AI powinien stać się standardowym elementem waszego workflow. Technologia już jest. Koszt jej ignorowania to przegrana sprawa albo kara od regulatora.

• Automatyczne flagowanie niezweryfikowanych i sprzecznych fragmentów dokumentów
• Wykrywanie 'ugruntowanego dryfu': prawdziwe osoby w fikcyjnych zdarzeniach
• Wskaźnik niepowodzenia weryfikacji jako mierzalny parametr ryzyka procesowego

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.