Przycinanie neuronów w locie: jak przyspieszyć modele rozumujące, gdy obsługują wiele zapytań

Czekasz 30 sekund na odpowiedź od chatbota, który najpierw 'myśli' przez kilka akapitów. Tak działają duże modele rozumujące – imponujące, ale powolne. Nowa metoda badaczy z Uniwersytetu Tokijskiego pokazuje, że można je przyspieszyć, wycinając zbędne neurony w trakcie pracy, i to nawet gdy model obsługuje kilka zapytań naraz.

Kiedy partia psuje maskę

Adaptacyjne przycinanie neuronów to pomysł, który działa świetnie, gdy model dostaje jedno pytanie. Na podstawie tego, które neurony się aktywują, wybiera się te najważniejsze, a resztę wyłącza. Oszczędza się czas i energię, a odpowiedź jest prawie tak samo dobra. Problem zaczyna się, gdy takich zapytań jest kilka naraz – w trybie wsadowym, jakiego używa każdy serwer.

W partii model musi współdzielić jedną maskę przycinania dla wszystkich próbek. Istniejące metody agregują aktywacje z różnych pytań, a potem aplikują próg ważności wyliczony wcześniej na pojedynczych przykładach. I tu jest pies pogrzebany: próg, skalibrowany na czystych, pojedynczych aktywacjach, nie pasuje do zagregowanego rozkładu. Trafiają się neurony, które dla jednego pytania są kluczowe, a dla drugiego zbędne, ale w uśrednieniu wypadają poniżej progu i są usuwane. Efekt? Rzeczywista rzadkość sieci zaczyna dryfować, a model na zadaniach wymagających rozumowania gubi wątek i produkuje bzdury.

Autorzy pracy nazywają to wprost: 'Ponieważ partia musi współdzielić jedną maskę przycinania, metody te agregują aktywacje między próbkami, a następnie stosują wybór oparty na progu; próg, skalibrowany offline na niezagregowanych aktywacjach, nie pasuje już do zagregowanego rozkładu, więc rzeczywisty współczynnik rzadkości dryfuje, a dokładność w zadaniach rozumowania załamuje się podczas wnioskowania wsadowego' (Kim, Takashiro i in.).

Zamiana progu na top-k i pamięć, która nie zapomina

Zespół z Tokio proponuje dwie proste, ale skuteczne zmiany. Po pierwsze, zamiast selekcji progowej (akceptujemy neurony, których ważność przekracza jakąś wartość), używają okresowego wyboru top-k: zawsze biorą k neuronów o najwyższej zagregowanej ważności w partii, niezależnie od tego, jak bardzo rozkład się przesunął. To eliminuje wpływ dryfu i utrzymuje stabilny współczynnik rzadkości. Selekcja nie jest robiona przy każdym tokenie, tylko raz na kilka kroków aktualizacji, co ogranicza narzut obliczeniowy.

Po drugie, wprowadzają pamięć aktywacji. To mechanizm, który sumuje ważność neuronów między kolejnymi okresami aktualizacji maski. Dzięki temu neurony, które aktywują się okresowo – na przykład w długich ciągach rozumowania, gdzie myśl wraca do tego samego pomysłu co kilka zdań – nie są tracone, nawet jeśli w pojedynczym oknie wydają się mało istotne. Pamięć działa trochę jak notatnik: 'Hej, ten neuron był ważny dwa kroki temu, więc może warto go zatrzymać'.

Ponieważ partia musi współdzielić jedną maskę przycinania, metody te agregują aktywacje między próbkami, a następnie stosują wybór oparty na progu; próg, skalibrowany offline na niezagregowanych aktywacjach, nie pasuje już do zagregowanego rozkładu, więc rzeczywisty współczynnik rzadkości dryfuje, a dokładność w zadaniach rozumowania załamuje się podczas wnioskowania wsadowego.

Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

Abstract, arXiv:2608.14003

40 punktów procentowych różnicy i przyspieszenie

Testy przeprowadzono na modelu DeepSeek-R1-Distill-Qwen-7B, jednym z popularnych otwartych modeli rozumujących. Przy rozmiarze partii 4 i docelowej rzadkości 50% nowa metoda uzyskała 39,7 punktu procentowego wyższą średnią dokładność niż poprzedni najlepszy algorytm adaptacyjnego przycinania. To nie jest drobna poprawka – to przepaść, która robi różnicę między modelem, który jeszcze daje sensowne odpowiedzi, a takim, który się wykłada.

Przy rzeczywistej rzadkości 50% model osiągnął przyspieszenie 1,40 razy w porównaniu z gęstym wnioskowaniem. To znaczy, że zapytania obsługiwane są o 40% szybciej, a odpowiedzi pozostają praktycznie niezmienione. W cytowanych słowach autorów: 'Nasza metoda przewyższa poprzednią najlepszą metodę adaptacyjnego przycinania o 39,7 punktu procentowego średniej dokładności przy rozmiarze partii 4 i docelowej rzadkości 50% na modelu DeepSeek-R1-Distill-Qwen-7B, i osiąga przyspieszenie 1,40 razy względem gęstego wnioskowania przy rzeczywistej rzadkości 50%' (Kim, Takashiro i in.).

Gdzie to się sprawdzi i dlaczego warto

Testy przeprowadzono na modelu DeepSeek-R1-Distill-Qwen-7B, jednym z popularnych otwartych modeli rozumujących. Przy rozmiarze partii 4 i docelowej rzadkości 50% nowa metoda uzyskała 39,7 punktu procentowego wyższą średnią dokładność niż poprzedni najlepszy algorytm adaptacyjnego przycinania. Ta różnica jest ogromna i przesądza o tym, czy model udziela sensownych odpowiedzi, czy się wykłada. Przy rzeczywistej rzadkości 50% model osiągnął przyspieszenie 1,40 razy w porównaniu z gęstym wnioskowaniem, co oznacza, że zapytania są obsługiwane o 40% szybciej przy niemal niezmienionej jakości odpowiedzi. W cytowanych słowach autorów: 'Nasza metoda przewyższa poprzednią najlepszą metodę adaptacyjnego przycinania o 39,7 punktu procentowego średniej dokładności przy rozmiarze partii 4 i docelowej rzadkości 50% na modelu DeepSeek-R1-Distill-Qwen-7B, i osiąga przyspieszenie 1,40 razy względem gęstego wnioskowania przy rzeczywistej rzadkości 50%' (Kim, Takashiro i in.).

• Adaptacyjne przycinanie neuronów działa w trybie wsadowym, jeśli zamiast progu stosuje się okresowy wybór top-k na zagregowanych ocenach ważności.
• Pamięć aktywacji zapobiega utracie neuronów, które aktywują się cyklicznie w długich łańcuchach rozumowania.
• Nowa metoda uzyskała o 39,7 punktu procentowego wyższą dokładność niż poprzedni najlepszy algorytm przycinania przy rzadkości 50% i partii 4.
• Praktyczne przyspieszenie względem gęstego modelu wynosi 1,40 razy, bez dodatkowego treningu.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Szybka obsługa trudnych zgłoszeń: modele rozumujące w centrach kontaktowych

W centrum kontaktowym złożone zapytanie to minuta w kolejce, minuta ciszy i rosnąca irytacja klienta

Błyskawiczna analiza finansowa: przycinanie neuronów dla szybszych rekomendacji

Zespół analityków ilościowych w dużym banku inwestycyjnym musi codziennie przed godziną 9:00 przetwo

Przycinanie neuronów w partii dokumentów: 40 procent szybciej bez utraty precyzji prawniczej

Kancelarie i działy prawne wciąż przeglądają dokumenty ręcznie, bo modele językowe potrafią się myli

Diagnoza bez opóźnień: modele rozumujące w medycynie z przycinaniem neuronów

Diagnostyka różnicowa wspierana przez AI potrafi przeanalizować historię choroby, wyniki badań i obj

Podsumowanie

Metoda z Tokio to praktyczny sposób na przyspieszenie dużych modeli rozumujących bez dodatkowego treningu. Może znaleźć zastosowanie w serwisach API oferujących analizę dokumentów prawnych, gdzie model generuje wieloetapowe uzasadnienia, a każde opóźnienie kosztuje. Sprawdzi się też w systemach wspomagania decyzji medycznych, gdzie liczy się zarówno dokładność, jak i szybkość reakcji, oraz w narzędziach do generowania kodu, które muszą obsłużyć wielu programistów jednocześnie.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.