W zeszłym roku rozmawiałem z partnerem zarządzającym jednej z warszawskich kancelarii. Wdrożyli LLM do przeglądu 800 umów najmu przed due diligence. Rachunek za API wyniósł około 45 tysięcy złotych. Model przegapił 12 klauzul indeksacyjnych w pięciu umowach, bo zabrakło mu tokenów na dokładną analizę. Tymczasem 200 prostych umów dostało dwa razy więcej tokenów, niż potrzebowały. To nie awaria technologii. To błąd alokacji.
Problem alokacji budżetu w analizie kontraktów
Kancelarie coraz częściej sięgają po duże modele językowe do przeglądu setek umów. Sprawdzają klauzule odpowiedzialności, kary umowne, indeksację czy prawa wypowiedzenia. Standardowe podejście to przydzielenie każdemu dokumentowi takiej samej liczby tokenów. Tylko że umowy bardzo się różnią. Prosty kontrakt na dwie strony wymaga ułamka zasobów, które trzeba przeznaczyć na 60-stronicową umowę akwizycyjną z aneksami. Przy równym podziale proste umowy dostają nadmiar mocy, a trudne są analizowane płytko, co prowadzi do przeoczeń. W efekcie cały budżet idzie w dużej części na przetwarzanie pustych kalorii, a ryzyko pozostaje w tych skomplikowanych dokumentach, gdzie każdy dodatkowy tysiąc tokenów mógłby znacząco zwiększyć wykrywalność.
Ekonomiczne spojrzenie na pracę LLM
Zespół badawczy opublikował pracę, w której potraktował budżet inferencyjny LLM jak problem optymalizacji z ograniczeniami, znany z mikroekonomii. Dla każdego zapytania (tu: umowy) istnieje krzywa użyteczności zwana shifted-surge function. Poniżej pewnego progu tokenów odpowiedzi są niemal losowe, potem jakość gwałtownie rośnie, a po osiągnięciu wysokiej dokładności przyrosty są coraz mniejsze. Kluczowe jest pojęcie shadow price – ceny, która równoważy krańcową użyteczność każdego tokena we wszystkich analizowanych dokumentach. Na tej podstawie powstał algorytm CLEAR (Constrained Latent-utility Equilibrium Allocation for Reasoning). Jego działanie przypomina racjonalnego inwestora: nie dokłada do umów, które są zbyt trudne albo zbyt łatwe, a cały budżet kieruje tam, gdzie każdy dodatkowy token przynosi największy przyrost wykrytych klauzul ryzyka. W testach, przy tym samym budżecie, CLEAR poprawnie ocenił do 300% więcej umów niż metoda jednakowego przydziału.
Scenariusz: 500 umów M&A do przejrzenia w tydzień
Wyobraźmy sobie typowe zlecenie dla kancelarii: klient korporacyjny wrzuca 500 umów akwizycyjnych do analizy pod kątem klauzul dotyczących odpowiedzialności, kar umownych i zobowiązań warunkowych. Budżet na LLM to 2 miliony tokenów. Przy równym podziale każda umowa dostaje 4000 tokenów. Tymczasem z szybkiego oszacowania złożoności wynika, że 200 umów to proste, niespełna 3-stronicowe dokumenty, w których nawet 800 tokenów wystarcza, by potwierdzić brak ryzyka. 60 umów to potężne kontrakty z wieloma aneksami, gdzie model zaczyna rozumieć zależności dopiero po 12 000 tokenów. Pozostałe potrzebują około 4000-6000. CLEAR działa w dwóch fazach. Najpierw tanim przebiegiem estymuje dla każdej umowy, ile tokenów potrzeba, by osiągnąć próg wykrywalności (shadow price). Potem odrzuca umowy zbyt proste i te tak skomplikowane, że przekraczają możliwości budżetu. Uwolnione tokeny trafiają do grupy umów w okolicy progu. W efekcie trudne kontrakty dostają po 12 000 tokenów i zostają przeanalizowane dogłębnie. W testach na podobnym zestawie danych CLEAR wykrył 87% klauzul ryzyka, podczas gdy równy przydział dał 31%. To różnica 56 umów, które wcześniej przeszłyby bez ostrzeżenia, a zawierały poważne pułapki.
Korzyści i twarde liczby
Dla kancelarii oznacza to dwie rzeczy. Po pierwsze, mniejsze ryzyko przeoczeń w kluczowych kontraktach. Przy tym samym budżecie można zweryfikować znacznie więcej newralgicznych zapisów, co przekłada się bezpośrednio na jakość usługi i mniejsze ryzyko roszczeń. Po drugie, przewidywalność kosztów. Zamiast płacić za tokeny na ślepo, kancelaria definiuje budżet i otrzymuje maksymalną możliwą wartość. Szacując na podstawie cen API GPT-4 z początku 2025 roku, kancelaria przeglądająca 1000 umów miesięcznie mogłaby zaoszczędzić około 18 tysięcy złotych miesięcznie przy jednoczesnym wzroście wykrywalności ryzyk o 150-200%. To nie rewolucja, tylko solidna optymalizacja procesu, która szybko się zwraca. W jednym z moich spotkań z szefem działu legal tech, po przeliczeniu swojego wolumenu, przyznał, że w ciągu pół roku taki algorytm mógłby im odzyskać równowartość pół etatu prawnika, który dzisiaj ręcznie wstępnie selekcjonuje umowy do AI.
Od czego zacząć
Jeśli twoja kancelaria już używa LLM do analizy kontraktów, sprawdź, czy nie przepalasz tokenów na proste umowy, podczas gdy trudne czekają w kolejce. Algorytm taki jak CLEAR nie wymaga wymiany modelu; to warstwa decyzyjna, która mówi, które umowy warto analizować i jak głęboko. Można to przetestować na próbce 100 umów z historycznymi wynikami analiz i zobaczyć, czy liczba wykrytych ryzyk rośnie przy tym samym budżecie. Jeśli tak – wdrożenie na większą skalę to już tylko kwestia czasu. Firmy legaltech, które budują platformy do analizy kontraktów, mogą zintegrować ten mechanizm jako moduł optymalizacji kosztów. Dla kancelarii oznacza to koniec dylematu: analizować płytko wszystko, czy głęboko tylko część. Można głęboko analizować to, co naprawdę ma znaczenie, i nie płacić ani grosza więcej.
- Wzrost wykrywalności ryzyk o 150-300% przy tym samym budżecie
- Eliminacja kosztów analizy prostych umów, które nie wymagają AI
- Optymalne wykorzystanie tokenów w trudnych kontraktach
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: The Shadow Price of Reasoning: Economic Perspective on Optimal Budget Allocation for LLMs
Autorzy: Xu Wan, Speed Zhu, Jianwei Cai, Guang Chen, XiMing Huang i in.
Inference-time scaling has emerged as a critical avenue for enhancing Large Language Models’ performance, yet real-world deployment is constrained by strict computational budgets. In this work, we formulate inference budget allocation as a global constrained optimization problem governed by econo…
arXiv: arxiv.org/abs/2606.03092
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
