AI w kancelarii: jak przestać cytować blogi zamiast ustaw i uniknąć katastrofy

Dwa lata temu znajomy partner w butikowej kancelarii opowiedział mi, że jego asystent AI w odpowiedzi na pytanie o terminy przedawnienia roszczeń podał link do wpisu na prywatnym blogu prawniczym. Autor wpisu pomylił nowelizację, termin był już nieaktualny. Klient dostał opinię z błędem, sprawa trafiła do ubezpieczyciela OC. Problem nie leży w modelu językowym – leży w tym, że modele nie odróżniają autorytatywnego źródła od popularnego. Badanie Learn2Discern pokazuje, że to ślepa plamka nawet największych systemów AI. I można ją załatać prostą interwencją na etapie wnioskowania.

Dlaczego Twój asystent AI cytuje forumprawne.pl zamiast Dziennika Ustaw

Modele językowe, gdy podpierają się zewnętrznymi źródłami, ważą informacje według popularności, nie według wiarygodności. W eksperymencie Learn2Discern (L2D) autorzy sprawdzili 13 modeli w prawie 670 tysiącach prób. Wynik: modele opierają się na popularności źródła dwukrotnie częściej niż na jego rzetelności. W praktyce oznacza to, że artykuł z portalu branżowego, który ma wysoki ruch i dużo odnośników, wygrywa z oficjalnym komunikatem publikatora urzędowego, jeśli ten ostatni jest rzadziej linkowany.

W prawie to różnica między opinią, która ma moc wiążącą, a tą, która nadaje się co najwyżej do dyskusji na konferencji. Jeśli system generujący analizę dla klienta nie rozróżnia tych kategorii, kancelaria bierze na siebie ryzyko błędu o potencjalnie wysokich kosztach. Co gorsza, nowsze i większe modele poprawiają zdolność do aktualizowania przekonań w stronę prawdy (truth discernment), ale nie poprawiają rozróżniania źródeł (source discernment). To ślepa plamka, której nie rozwiązuje samo skalowanie modelu.

Learn2Discern: jak nauczyć system, że ISAP waży więcej niż blog

L2D to rama eksperymentalna i benchmark, który mierzy dwie rzeczy: source discernment – czy model aktualizuje swoje przekonania silniej, gdy źródło jest wiarygodne – oraz truth discernment – czy aktualizuje mocniej, gdy nowa informacja przybliża go do prawdy. Autorzy wyprowadzili trzy normatywne aksjomaty idealnego uczenia się z informacji zewnętrznych i potwierdzili w badaniu na 299 użytkownikach, że ludzie właśnie tak oczekują od AI. Naruszenia tych aksjomatów realnie obniżają zaufanie i chęć korzystania z narzędzia.

Dla kancelarii prawnych kluczowe jest source discernment. Można wdrożyć prostą interwencję na etapie wnioskowania: po wygenerowaniu odpowiedzi z przypisami system sprawdza każde źródło pod kątem metryk wiarygodności – nie popularności, ale tego, czy pochodzi z rejestru oficjalnych publikatorów (ISAP, Dz.U., EUR-Lex, orzecznictwo publikowane przez sądy). Jeśli źródło nie spełnia kryteriów, model jest korygowany – podmienia odwołanie na autorytatywny odpowiednik albo flaguje fragment do weryfikacji przez prawnika. To nie jest rocket science, to kilkadziesiąt linii kodu w warstwie postprocessingu.

Scenariusz: analiza due diligence, która nie kończy się pozwem

Weźmy typowy case: kancelaria przygotowuje raport due diligence dla funduszu inwestycyjnego przed przejęciem spółki z sektora ochrony zdrowia. Asystent AI dostaje zadanie: sprawdź, czy umowy z kontrahentami spełniają wymogi ustawy o działalności leczniczej z uwzględnieniem najnowszego orzecznictwa. Bez mechanizmu weryfikacji źródła model może sięgnąć po komentarz z portalu branżowego, który błędnie interpretuje wyrok NSA, bo autor nie uwzględnił późniejszej uchwały składu siedmiu sędziów. Efekt: raport zawiera wadliwą podstawę prawną, transakcja idzie do przodu, a za pół roku fundusz dostaje decyzję UOKiK z karą. Koszty? Minimum kilkaset tysięcy złotych plus utrata reputacji.

Z interwencją opartą na L2D system po wygenerowaniu odpowiedzi automatycznie ocenia każde cytowane źródło. Jeśli trafi na komentarz z portalu, który nie jest publikowany w oficjalnym dzienniku urzędowym, oznacza go jako nieautorytatywny i proponuje zamianę na właściwy wyrok z bazy orzeczeń NSA lub tekst jednolity ustawy z ISAP. Prawnik dostaje alert: 'Poniższy fragment opiera się na źródle bez mocy wiążącej. Zastąpiono odwołaniem do wyroku NSA sygn. ... z dnia ...'. Czas weryfikacji skraca się z godzin do minut, a ryzyko przeoczenia spada praktycznie do zera.

Ile to kosztuje i kiedy się zwraca

Koszt wdrożenia warstwy weryfikacji źródeł to w praktyce kilka dni pracy inżyniera danych i prawnika, który zdefiniuje listę autorytatywnych rejestrów. Subskrypcje dostępu do oficjalnych baz (ISAP, Legalis, LEX) kancelaria zwykle już ma, więc dodatkowy wydatek jest bliski zeru. Nawet jeśli trzeba dokupić API komercyjnego systemu informacji prawnej, mówimy o kilkuset złotych miesięcznie.

Zwrot? Jeden uniknięty błąd w opinii dla klienta korporacyjnego to oszczędność rzędu 50-200 tysięcy złotych – tyle średnio kosztuje ugoda lub przegrana sprawa z tytułu nienależytej staranności. Do tego dochodzi efekt reputacyjny: kancelarie, które jako pierwsze pokażą klientom, że mają techniczne zabezpieczenie przed cytowaniem 'fejk-źródeł', budują przewagę konkurencyjną w segmencie compliance i regulated industries. Z moich rozmów z szefami kancelarii wynika, że to jeden z trzech najczęściej podnoszonych tematów przy pitchowaniu dużych przetargów.

Od czego zacząć jutro rano

Nie potrzebujesz nowego modelu. Nie potrzebujesz konsultantów za 50 tysięcy. Potrzebujesz trzech rzeczy: listy zaufanych publikatorów (ISAP, Dz.U., EUR-Lex, bazy orzeczeń sądów), prostego skryptu, który po każdym wywołaniu AI sprawdza domenę źródła i porównuje ją z tą listą, oraz procedury eskalacji – co zrobić, gdy źródło jest spoza listy. W pilotowym wdrożeniu dla jednego zespołu możesz to przetestować w dwa tygodnie na historycznych analizach. Jeśli wyniki będą takie jak w badaniu L2D – a będą – skalowanie na całą kancelarię to kwestia decyzji zarządu, nie technologii.

• Eliminacja ryzyka cytowania nieautorytatywnych źródeł (blogi, portale) w analizach prawnych
• Automatyczna ocena wiarygodności źródła na podstawie metryk L2D, a nie popularności w sieci
• Interwencja wnioskowania korygująca odwołania na rzecz ISAP i publikatorów urzędowych
• Redukcja czasu weryfikacji z godzin do minut i spadek ryzyka błędu praktycznie do zera

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.