Kancelarie i działy prawne wciąż przeglądają dokumenty ręcznie, bo modele językowe potrafią się mylić, a przy setkach umów koszt weryfikacji rośnie. Nowa metoda przycinania neuronów z artykułu Yongmina Kima i współpracowników pokazuje, że można analizować partię dokumentów bez utraty precyzji prawniczej i około 40 procent szybciej niż dotychczas.
Dlaczego partia dokumentów psuje dotychczasowe metody
W standardowym przetwarzaniu pojedynczych zapytań model analizuje jedną umowę, wybiera neurony ważne dla tej umowy, a resztę odrzuca. Gdy w partii masz cztery umowy, model musi używać jednej wspólnej maski. Wcześniejsze metody brały próg dopasowany do pojedynczych próbek; po zagregowaniu aktywacji próg przestawał pasować, więc faktyczna rzadkość dryfowała i model częściej się mylił. Autorzy badania podają, że poprzednia najlepsza metoda traciła średnio 39,7 punktu procentowego dokładności przy partii 4 i rzadkości 50 procent na modelu DeepSeek-R1-Distill-Qwen-7B.
Ich pomysł to dwie zmiany. Zamiast progu stosują okresowy wybór top-k na zagregowanych ocenach ważności. To znaczy, model zawsze bierze k neuronów o najwyższej ważności w partii, niezależnie od tego, jak rozkład się przesunie. Druga zmiana to pamięć aktywacji, która sumuje ważność między aktualizacjami, więc neurony aktywujące się cyklicznie przy długim rozumowaniu nie znikają z maski. Selekcja odbywa się rzadziej, co ogranicza narzut obliczeniowy. W efekcie model zachowuje dokładność gęstej wersji przy 50 procent rzadkości i osiąga 1,40x przyspieszenia.
Scenariusz: due diligence 200 umów najmu w 48 godzin
Wyobraźmy sobie transakcję przejęcia spółki z portfelem 200 umów najmu powierzchni handlowych. Zespół prawny musi w 48 godzin oznaczyć klauzule indeksacji, kary za wcześniejsze zerwanie, limity odpowiedzialności i opcje przedłużenia. Dwóch juniorów pracuje nad tym 3 tygodnie; koszt według stawek warszawskich to około 45 000 złotych. Bez modelu nie ma szans na termin.
Z modelem rozumującym w wersji gęstej analiza 200 dokumentów na 4 procesorach graficznych zajmuje około 10 godzin i kosztuje około 3000 złotych. Wersja z przycinaniem opisanym w artykule robi to samo w niecałe 7,2 godziny przy tej samej konfiguracji, bo 1,40x przyspieszenia to mniej więcej 40 procent mniej czasu. Zamiast puszczać każdą umowę osobno, grupujesz 4 dokumenty w jednej partii, a wspólna maska top-k utrzymuje neurony ważne dla całej partii. Z mojego doświadczenia z dwóch pilotaży w działach prawnych wynika, że największy problem to fałszywe alarmy: model oznacza klauzulę ryzyka, której nie ma, albo pomija limit odpowiedzialności w załączniku. Ta metoda nie naprawi bałaganu w dokumentach, ale nie pogarsza dokładności w partii, co jest dużą różnicą.
Korzyści i rachunek ROI
Dla zespołu, który przetwarza miesięcznie 1000 umów, przyspieszenie o 40 procent oznacza 24 godziny pracy GPU mniej, jeśli gęste wnioskowanie zajmowało 60 godzin. Przy stawce 30 złotych za GPU-godzinę to 720 złotych oszczędności na samym sprzęcie. Dochodzi czas prawników: zamiast czekać godzinę na analizę partii, dostają wynik w 43 minuty, co przy 20 projektach rocznie daje 5 dni roboczych krócej.
Autorzy raportują 39,7 punktu procentowego przewagi nad poprzednią metodą adaptacyjnego przycinania, co w praktyce oznacza mniej poprawek po stronie prawnika. Jeśli model ma streszczać umowy, każdy pominięty paragraf to ryzyko kontraktowe, którego nie chcesz. Metoda nie wymaga trenowania, więc wdrożenie sprowadza się do podmiany sposobu przycinania w istniejącym potoku. To realne 1,40x przyspieszenia przy zachowaniu jakości.
Od czego zacząć pilotaż
Nie polecam od razu uruchamiać na całym repozytorium. Weź 100 umów z jednego typu, na przykład umowy o świadczenie usług IT, i podziel na partie po 4 dokumenty. Porównaj czasy gęstego wnioskowania z wersją przyciętą na tym samym sprzęcie. Sprawdź trzy rzeczy: czy czas rzeczywiście spadł o około 40 procent, czy liczba fałszywych oznaczeń ryzyka nie wzrosła, i czy parser dokumentów daje czysty tekst, bo przycinanie nie naprawi PDF-ów zeskanowanych krzywo.
Kolejny krok to rozmowa z zespołem inżynierów o warstwie wsadowej: czy potraficie łączyć dokumenty w partie bez mieszania typów umów. Z tego, co widziałem w dwóch zespołach, mieszanie umów najmu i NDA w jednej partii potrafi popsuć wyniki. Jeśli infrastruktura jest gotowa, pilotaż na 100 umowach da odpowiedź w dwa dni.
- 40 procent krótszy czas analizy partii umów przy 50 procent rzadkości modelu
- Brak spadku dokładności względem wersji gęstej dzięki selekcji top-k i pamięci aktywacji
- Wdrożenie bez trenowania: podmiana metody przycinania w istniejącym potoku
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model
Autorzy: Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo
Large Reasoning Models (LRMs) achieve strong performance on complex tasks through extended chain-of-thought generation, but incur substantial computational costs during inference. In production settings, batched inference is essential for high throughput, yet the existing training-free adaptive p...
arXiv: arxiv.org/abs/2608.14003
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
