Dział prawny dużej korporacji przegląda rocznie kilka tysięcy umów. Każda może podlegać jednocześnie pod RODO, AML, prawo ochrony środowiska i lokalne przepisy. Wewnętrzne zespoły spędzają tygodnie na ręcznym sprawdzaniu klauzul, zewnętrzne kancelarie wystawiają faktury na tysiące złotych za jeden kontrakt. A i tak w 15 procentach przypadków audytorzy znajdują rażące niezgodności już po podpisaniu dokumentu.
Mechanizm jury – dlaczego konsensus zastępuje weryfikatora
Badanie opublikowane przez Ning Liu pokazuje, że zespół niezależnie wytrenowanych modeli AI, przekazujących swoją opinię i głosujących na ostateczną odpowiedź, wybiera poprawne rozwiązanie znacznie lepiej niż pojedynczy model próbujący ocenić sam siebie. Metoda działa bez dodatkowego trenowania i daje przewidywalną dokładność dzięki matematycznemu prawu opartemu na strukturze zgody, a nie na punktowej ocenie jednego modelu.
W kontekście compliance przekłada się to na zestaw specjalistycznych modeli: jeden szkolony wyłącznie na RODO, drugi na przepisach AML, trzeci na regulacjach środowiskowych, czwarty na lokalnym prawie handlowym. Każdy z nich czyta ten sam dokument i wskazuje klauzule, które w jego obszarze są ryzykowne. Potem system porównuje wyniki. Jeśli trzy z czterech modeli uznały daną klauzulę za niebezpieczną – mamy wysoki poziom konsensusu i dużą pewność, że problem jest realny. Jeśli tylko jeden model protestuje, a reszta milczy – to prawdopodobnie fałszywy alarm, typowy dla nadgorliwych systemów regułowych.
Jak to działa w praktyce: audyt umowy inwestycyjnej
Weźmy fundusz inwestycyjny oceniający umowę na zakup farmy wiatrowej. Dokument ma 80 stron, zawiera zapisy o podziale zysków, transferze danych osobowych, deklaracjach śladu węglowego i zgodności z unijną taksonomią. Do analizy stawiamy panel pięciu modeli: RODO, AML, ESG (taksonomia UE), polskie prawo spółek i międzynarodowe prawo kontraktowe.
System w dwie minuty skanuje całość i tworzy mapę cieplną. Dla klauzuli o raportowaniu emisji CO2 trzy modele (ESG, międzynarodowe, polskie) podnoszą flagę. Konsensus 3/5 to wysoki sygnał – klauzula faktycznie zawiera luki, które mogą naruszać nowe wytyczne ESMA. Dla zapisu o cross-border transfer danych tylko model RODO protestuje, ale słabo, na poziomie niskiego ryzyka. System uznaje to za marginalne ostrzeżenie. Prawnik funduszu otrzymuje raport: zamiast czytać cały dokument, skupia się na czterech stronach oznaczonych kolorem czerwonym. Czas potrzebny na due diligence spada z trzech dni roboczych do jednego przedpołudnia.
Kiedy jury się myli: pułapka wspólnego błędu
Artykuł Liu pokazuje też coś ciekawego: każdy panel ma tzw. shared-error floor, czyli granicę, poniżej której wszystkie modele popełniają ten sam błąd. W matematyce ten poziom jest bliski zeru, bo modele różnią się od siebie błędami. W przepisach prawnych może być inaczej – jeśli wchodzi nowa dyrektywa, na przykład CSRD, żaden z modeli nie miał jej w danych treningowych. Wtedy wszystkie przeoczą specyficzne wymagania, a poziom konsensusu w sekcjach ESG spadnie drastycznie.
Właśnie ta cecha staje się największą zaletą systemu. Niski poziom zgody w całym panelu nie oznacza, że dokument jest czysty – oznacza, że modele zderzyły się ze ślepą plamką. System sygnalizuje: 'nie wiemy, czy tu jest ryzyko, potrzebny jest ekspert'. Dla szefa compliance to informacja warta więcej niż dziesięć stron raportu. Zamiast reagować na incydent za trzy miesiące, zyskuje konkretny obszar do sprawdzenia już teraz. Firma może mierzyć wskaźnik konsensusu jako KPI – jeśli ogólny poziom zgody spada poniżej progu, to czas na przeszkolenie modeli lub zaangażowanie zewnętrznej kancelarii w wybranym obszarze.
Twarde liczby i pierwsze kroki
Według raportu McKinsey z 2023 roku automatyzacja analizy umów obniża koszty prawne średnio o 50–60 procent. Fundusz przetwarzający 2 000 umów rocznie, gdzie średni koszt przeglądu to 1 400 USD za kontrakt, może zaoszczędzić ponad 1,5 miliona USD rocznie, uwzględniając koszt utrzymania systemu. Do tego dochodzą uniknięte kary – za naruszenie RODO grozi do 4 procent globalnego obrotu, a za złamanie dyrektywy AML nawet do 10 procent.
Wdrożenie nie wymaga budowania własnych modeli od zera. Na rynku dostępne są już pre-trenowane modele specjalizujące się w aktach prawnych (Legal-BERT, GPT-4 z fine-tuningiem na dyrektywach). Kluczem jest ich panelowanie, a nie wyszkolenie jednego supermodelu. Trzeba też zdefiniować metrykę konsensusu i skalibrować progi dla każdego typu dokumentu – na początek wystarczy zestaw 100 umów z już znanymi ryzykami. Po tygodniu eksperymentów zespół compliance ma w ręku narzędzie, które nie tylko skraca czas audytu, ale też pierwszy raz pokazuje, czego nie wie.
- Wymierny wskaźnik ryzyka regulacyjnego (poziom konsensusu) zastępujący chaotyczną analizę wieloaspektową
- Sygnalizowanie luk w wiedzy (shared-error floor) działające jak system wczesnego ostrzegania przed nieznanymi regulacjami
- Skrócenie czasu audytu z tygodni do godzin i redukcja kosztów zewnętrznych kancelarii nawet o 60 procent
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
Autorzy: Ning Liu
Selecting the correct answer from a pool of candidate reasoning chains is the engine of test-time scaling, yet the standard selectors each carry a cost: self-consistency inherits the errors of the single model it resamples, and trained reward models need labeled data and transfer poorly off-distr...
arXiv: arxiv.org/abs/2607.10139
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
