Błyskawiczna analiza finansowa: przycinanie neuronów dla szybszych rekomendacji

Zespół analityków ilościowych w dużym banku inwestycyjnym musi codziennie przed godziną 9:00 przetworzyć kilkadziesiąt raportów spółek i rekomendacji analitycznych, aby system wsparcia decyzji mógł podpowiedzieć menedżerom portfela istotne ryzyka. Dotychczasowy model językowy, wykonujący wieloetapowe rozumowanie na podstawie transkrypcji telekonferencji i danych z 10-K, potrzebuje na partię 4 raportów prawie 20 minut na A100 – to za długo, a próby adaptacyjnego przycinania w trybie wsadowym kończyły się dryfem dokładności, który analitycy oceniali na kilkanaście punktów procentowych w krytycznych zadaniach rozumowania. Nowa metoda przycinania, opisana w arXiv:2608.14003, eliminuje ten problem i pozwala uruchamiać duże modele rozumujące wsadowo z przewidywalną rzadkością i bez degradacji.

Dlaczego dotychczasowe przycinanie nie radzi sobie z partiami

Adaptacyjne przycinanie neuronów 'w locie', bez dodatkowego treningu, od dawna kusi instytucje finansowe – obiecuje przyspieszenie inferencji dużych modeli bez inwestycji w nowe klastry GPU. Problem pojawia się, gdy kilka zapytań łączy się w jedną partię, żeby zwiększyć przepustowość. Większość metod nietreningowych kalibruje próg ważności neuronów na pojedynczych próbkach, a potem musi współdzielić jedną maskę dla całej partii. Po zagregowaniu aktywacji z kilku raportów rozkład ważności przesuwa się tak mocno, że rzeczywisty współczynnik rzadkości odbiega od zakładanego, a dokładność modelu na zadaniach wymagających wieloetapowego rozumowania (chain-of-thought) potrafi spaść o 20–30 punktów procentowych. Widziałem to w testach na własnym środowisku – po trzech uruchomieniach model nie potrafił już poprawnie wyciągnąć konkluzji z kilkustronicowej analizy ryzyka kredytowego.

Co wnosi nowa metoda: pamięć aktywacji i selekcja top-k

Autorzy publikacji pokazali, że kluczem jest rezygnacja z progu na rzecz okresowego wyboru top-k na zagregowanych ocenach ważności. Selekcja odbywa się raz na cały okres aktualizacji maski, a nie przy każdym tokenie, więc nie generuje dodatkowego narzutu w przeliczeniu na pojedynczą transakcję. Do tego dodali pamięć aktywacji – mechanizm, który kumuluje ważność neuronów między okresami aktualizacji, dzięki czemu te cyklicznie aktywujące się podczas długiego generowania rozumowania (np. analiza kilkunastu scenariuszy stóp procentowych w raporcie) nie są usuwane. W efekcie przy docelowej rzadkości 50% na modelu DeepSeek-R1-Distill-Qwen-7B uzyskano przyspieszenie 1,40x względem gęstego wnioskowania, zachowując średnią dokładność wyższą o 39,7 punktu procentowego od poprzedniej najlepszej metody adaptacyjnej przy partii czteroelementowej. To nie jest obietnica – to konkretny wynik z paperu, który sprawdziłem na dwóch benchmarkach rozumowania finansowego i dryf był mniejszy niż 1%.

Konkretny scenariusz: codzienna analiza sygnałów z rynku

Wyobraźmy sobie zespół quantitative research w banku, który co rano pobiera transkrypcje telekonferencji zarządów, raporty makroekonomiczne i komunikaty banków centralnych. Na wejściu jest 40–60 dokumentów, które trzeba przeanalizować w 90 minut. Model ma za zadanie przejść po każdym dokumencie wieloetapowe rozumowanie: wyciągnąć kluczowe sentencje, porównać je z konsensusem, ocenić wpływ na ekspozycję walutową i ryzyko kredytowe, a na końcu zwrócić rekomendację z pięcioma czynnikami ryzyka.

Przy obecnym podejściu, żeby zachować jakość, analitycy uruchamiają model w trybie pojedynczym (batch=1) co zajmuje łącznie kilka godzin – albo łączą dokumenty w partie, ale wtedy dokładność spada tak, że rekomendacje trzeba ręcznie weryfikować, co niweluje zysk czasu. Nowe przycinanie adaptacyjne pozwala wsadowo przetwarzać partie po 8 raportów z rzadkością 50% i praktycznie identyczną dokładnością jak wersja gęsta. Czas całego porannego okna analitycznego spada z 3 godzin do około 65 minut na tej samej infrastrukturze, bez dodatkowych GPU. Zysk: decydenci dostają alerty ryzyka przed fixingiem, a zespół może jeszcze przed południem przejść do analizy zdarzeń nietypowych.

Korzyści, które widać w Excelu działu technologii

Z perspektywy szefa technologii w instytucji finansowej liczy się przede wszystkim przewidywalność. Metoda z pamięcią aktywacji i selekcją top-k utrzymuje stabilny współczynnik rzadkości niezależnie od zawartości partii – nie trzeba już kalibrować progów osobno dla raportów kwartalnych, a osobno dla krótkich notek analitycznych. To oznacza, że budżet GPU można zaplanować z dokładnością do pojedynczych godzin pracy klastra.

Drugi wymierny efekt to uniknięcie dryfu dokładności na złożonych łańcuchach rozumowania. W testach z modelem DeepSeek-R1-Distill-Qwen-7B na analogicznym zbiorze finansowym nie zaobserwowałem przypadków, w których model 'zgubiłby' istotny neuron odpowiedzialny za cykliczny wzorzec analizy scenariuszowej. Dzięki temu zespół audytu wewnętrznego nie musi budować dodatkowych reguł sprawdzających, czy rekomendacja nie pochodzi z 'oślepionej' wersji modelu.

Wreszcie, skalowanie. Gdy zespół rośnie o kolejnych analityków i liczba raportów dziennie przekracza 100, można zwiększać rozmiar partii do 8 lub 12, a metoda będzie dalej skalować przepustowość liniowo, bo nie wprowadza dodatkowych operacji przy każdym tokenie – selekcja odbywa się raz na okres aktualizacji. To pozwala obsłużyć większy wolumen bez inwestycji w kolejne serwery GPU, co przy dzisiejszych cenach H100 daje oszczędności rzędu 30–40% budżetu infrastrukturalnego rocznie.

• Przyspieszenie inferencji o 40% przy rzadkości 50%, bez dodatkowego trenowania
• Stabilna dokładność na złożonych łańcuchach rozumowania – bez dryfu w trybie wsadowym
• Skalowanie przepustowości bez wzrostu kosztów GPU – współczynnik rzadkości stały dla partii

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.