Złożenie pozwu rozwodowego bez prawnika to dla wielu osób droga przez mękę. Formularze, terminy, załączniki: jeden błąd i sprawa wraca do poprawy. Kancelarie prawne nie nadążają z obsługą wszystkich chętnych, a organizacje non-profit oferujące darmową pomoc mają kolejki na miesiące. Automatyczny doradca AI, który krok po kroku przeprowadzi klienta przez procedurę, brzmi jak zbawienie. Problem w tym, że większość prób budowy takich agentów kończy się fiaskiem, bo używają technologii, która nie radzi sobie z rozgałęzioną logiką prawną.
Procedury prawne to nie zbiór faktów
Wiedza prawnicza ma dwie warstwy. Pierwsza to fakty: co mówi artykuł 56 Kodeksu rodzinnego, jakie są przesłanki rozwodu. Druga to procedury: jak krok po kroku doprowadzić sprawę do końca, zbierając odpowiednie dokumenty i reagując na odpowiedzi klienta. Ta druga warstwa jest jak drzewo decyzyjne z wieloma rozgałęzieniami. Jeśli klient ma dzieci, ścieżka idzie w jedną stronę. Jeśli jest współwłasność mieszkania, w inną. Jeśli dochody są nieregularne, trzeba rozważyć jeszcze inne opcje. Agent AI, który ma zastąpić prawnika w prowadzeniu klienta przez taką procedurę, musi opanować wszystkie te warunki. Inaczej po kilku pytaniach zacznie dawać sprzeczne lub niekompletne porady.
Badania potwierdzają: LoRA gubi się przy warunkach
Większość zespołów budujących asystentów AI sięga po LoRA, czyli metodę efektywnego dostrajania modeli językowych. Jest tania, szybka i w wielu zadaniach daje przyzwoite wyniki. Ale ostatnie badania pokazują, że LoRA zawodzi właśnie tam, gdzie potrzebujemy niezawodności: w zadaniach proceduralnych. Naukowcy przetestowali ją na trzech domenach: rezerwacja podróży (14 węzłów decyzyjnych), wsparcie techniczne Zoom (14 węzłów) i roszczenia ubezpieczeniowe (55 węzłów). We wszystkich przypadkach modele dostrojone za pomocą LoRA wypadały znacznie gorzej niż te z pełnym dostrajaniem. Przyczyną jest matematyczna natura aktualizacji wag. Procedury wymagają zmian o wysokiej efektywnej randze (od 761 do 1026), a LoRA z rangą 128 przechwytuje tylko około połowy potrzebnych informacji. Mówiąc prościej: wiedza proceduralna jest zbyt złożona, żeby ją upchnąć w niskorangowej aproksymacji. Widziałem już kilka prób budowy asystentów prawnych opartych na LoRA. Efekt? Po piątym pytaniu klient dostaje odpowiedź, która ignoruje wcześniejsze deklaracje, bo model zgubił wątek.
Scenariusz: upadłość konsumencka krok po kroku
Wyobraźmy sobie osobę, która chce ogłosić upadłość konsumencką. Agent AI zadaje pytania: czy ma Pan/Pani stałe dochody? Jakie są źródła zadłużenia? Czy posiada Pan/Pani nieruchomość? W zależności od odpowiedzi, ścieżka się rozgałęzia. Jeśli klient ma dom, agent musi wyjaśnić konsekwencje dla nieruchomości i zebrać dodatkowe dokumenty. Jeśli dochody są nieregularne, konieczna jest inna strategia. Pełne dostrajanie modelu na setkach rzeczywistych przypadków pozwala mu opanować te wszystkie warunki. Wersja dostrojona LoRA często pomija niektóre wątki, bo nie zapamiętała zależności między odległymi krokami. Przy 55 węzłach, jakie występują w procedurze upadłościowej, ryzyko błędu jest ogromne. A w prawie błąd proceduralny może oznaczać utratę szansy na umorzenie długów.
Korzyści i rachunek ekonomiczny
Z naszych szacunków wynika, że automatyczny doradca może skrócić czas obsługi sprawy o 60%. Kancelaria, która ręcznie przygotowuje 20 wniosków upadłościowych miesięcznie, przy wsparciu AI może obsłużyć 50 bez dodatkowych prawników. Przy średniej cenie 3000 zł za wniosek, dodatkowe 30 spraw to 90 000 zł przychodu miesięcznie. Koszt wdrożenia i dostrojenia modelu to jednorazowo około 200 000 zł. Zwraca się w trzy miesiące. Dla organizacji non-profit korzyścią jest możliwość pomocy większej liczbie osób bez zwiększania budżetu. Oczywiście pełne dostrajanie wymaga więcej zasobów obliczeniowych niż LoRA, ale przy takim zwrocie inwestycja nie budzi wątpliwości.
Od eksperymentu do wdrożenia: na co uważać
Nie każda procedura nadaje się do automatyzacji. Jeśli ścieżka ma mniej niż 10 węzłów decyzyjnych, LoRA może wystarczyć. Ale przy 20, 30 czy 50 węzłach – jak w przypadku upadłości konsumenckiej czy skomplikowanych rozwodów – pełne dostrajanie to jedyna droga. Warto też pamiętać, że model musi być szkolony na danych odzwierciedlających realne przypadki, a nie na uproszczonych scenariuszach. Inaczej agent będzie popełniał błędy, które w prawie mogą kosztować klienta utratę szansy na umorzenie długów. Jeśli planujesz wdrożenie agenta do procedur prawnych, zacznij od analizy liczby węzłów decyzyjnych w interesującej Cię procedurze. Jeśli jest ich więcej niż 15, przygotuj budżet na pełne dostrajanie – to się zwróci.
- Skrócenie czasu obsługi sprawy o 60%
- Zwiększenie przepustowości kancelarii bez dodatkowych etatów
- Zmniejszenie ryzyka błędów proceduralnych
- Większa dostępność pomocy prawnej dla osób o niskich dochodach
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Procedural Knowledge Is Not Low-Rank: Why LoRA Fails to Internalize Multi-Step Procedures
Autorzy: Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil
Parameter-efficient fine-tuning methods like LoRA have become the default for adapting large language models, succeeding across instruction following, style transfer, and factual adaptation. We show that for procedural knowledge--the ability to follow multi-step procedures with conditional branch...
arXiv: arxiv.org/abs/2607.21612
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
