Po dostrojeniu asystenta sklepowego do kampanii Black Friday nagle przestaje on rozumieć pytania o zwroty, dostępność towaru, a na manipulacyjne monity odpowiada politycznie ryzykownie. Zamiast budować dwa modele lub rezygnować z personalizacji, można w 3 minuty odszumić wagi sieci i przywrócić utracone kompetencje – bez dodatkowych danych.
Gdy świąteczna kampania psuje codzienny chatbot
Dostrajanie modelu językowego do konkretnej akcji – na przykład obsługi pytań o reguły wyprzedaży, kody rabatowe i promocyjne zestawy – daje mierzalny wzrost konwersji. Problem pojawia się, gdy ten sam model ma nadal doradzać klientom w wyborze produktu, podpowiadać rozmiary czy obsłużyć reklamację. Badania nad zjawiskiem katastroficznego zapominania pokazują, że w 13 na 14 przypadków dostrojenie degraduje co najmniej jedną niezwiązaną umiejętność. Spadki bywają dramatyczne: model Llama, który przed fine-tuningiem rozwiązywał 93% zadań matematycznych, po dostrojeniu do zadań medycznych radził sobie już tylko z 1,1%.
W e-commerce sytuacja jest analogiczna. Chatbot wytrenowany na rozmowach o Black Friday może stracić płynność w ogólnych dialogach, zacząć ignorować pytania o status zamówienia, a co gorsza – odpowiadać na niebezpieczne prompty, narażając markę na wizerunkową wpadkę. Zespół, który dostraja model co sezon, staje przed dylematem: albo poświęcić jakość codziennej obsługi, albo utrzymywać dwa oddzielne boty.
Matryca wag jak mieszanina sygnału i szumu
Zespół badawczy z Uniwersytetu w Edynburgu zaproponował metodę DG-Hard, która traktuje różnicę między bazowym a dostrojonym modelem (tzw. deltę) jako sumę dwóch składników. Pierwszy to użyteczny sygnał związany z nowym zadaniem, ułożony w kilku najsilniejszych kierunkach macierzy wag. Drugi to szum przypominający losowe zakłócenia, który gradientowe metody optymalizacji nie mają powodu usuwać – i który odpowiada za zniszczenie pierwotnych zdolności.
Kluczowym narzędziem jest dekompozycja spektralna (SVD) delty każdej warstwy sieci. Wykres wartości osobliwych ujawnia ostrą granicę: kilkadziesiąt wysokich pików to sygnał, a reszta układa się w rozkład Marchenko-Pastura charakterystyczny dla czystego szumu. Algorytm Donoho-Gavisha precyzyjnie wyznacza próg, poniżej którego wszystkie wartości są zerowane. Odfiltrowaną deltę dodaje się z powrotem do wag bazowych, co daje model naprawiony. Cały proces nie wymaga danych treningowych, nie potrzebuje etykiet ani gradientów, a na pojedynczej karcie GPU trwa poniżej 3 minut.
Scenariusz: sezonowa promocja bez uszczerbku na codziennym doradztwie
Weźmy średniej wielkości sklep internetowy z działem obsługi klienta, który używa asystenta opartego na modelu językowym 3-4 mld parametrów. Zespół marketingowy co miesiąc dostraja go do nowej kampanii: w styczniu wyprzedaże posezonowe, w maju Dzień Matki, w listopadzie Black Friday. Już po pierwszym cyklu menedżer widzi, że ogólna celność odpowiedzi na pytania niepromocyjne spada z 82% do 41%, a wskaźnik eskalacji do konsultanta rośnie z 15% do 34%.
Z pomocą DG-Hard wystarczy wziąć checkpoint po dostrojeniu, porównać go z modelem bazowym (sprzed fine-tuningu) i przepuścić przez filtr spektralny. Wynik: model odzyskuje celność ogólną na poziomie 79%, zachowując przy tym 94% celności w pytaniach kampanijnych. Dodatkowo przywrócone zostają mechanizmy odmowy odpowiedzi na szkodliwe monity (np. ‘Jak oszukać system refundacji?’), które fine-tuning osłabił – bez żadnego dodatkowego zestawu danych o bezpieczeństwie.
Korzyści i szacunkowy zwrot z wdrożenia
Główna oszczędność to eliminacja potrzeby utrzymywania dwóch odrębnych instancji modelu – jednej dla kampanii, drugiej na co dzień – oraz redukcja ręcznych eskalacji. W w/w sklepie, przy wolumenie 8 000 rozmów miesięcznie, 19-punktowy wzrost celności ogólnej po DG-Hard oznacza około 1 500 rozmów, które nie trafiają już do agenta. Przy średnim koszcie eskalacji 4 USD, daje to 6 000 USD oszczędności miesięcznie, nie licząc spadku wskaźnika rezygnacji klienta.
Dodatkowo marka unika ryzyka wizerunkowego: jeden głośny przypadek, w którym chatbot udziela niestosownej odpowiedzi, może kosztować kilkadziesiąt tysięcy USD w utraconej reputacji. Czas naprawy (3 minuty) pozwala wdrożyć rutynowy krok po każdym fine-tuningu, bez angażowania data scientistów poza pierwszym skryptem.
Co dalej z chatbotem w Twojej firmie?
Jeśli zespół dostraja model językowy do konkretnych zadań sezonowo, warto po każdym cyklu przemielić checkpoint przez filtr DG-Hard. Kod jest otwarty, a wymagania sprzętowe niewielkie – pojedyncze GPU z 8 GB VRAM wystarcza dla modeli do 4 miliardów parametrów. Prosty test: zmierz dokładność bota na próbce 150 ogólnych pytań przed i po dostrojeniu; jeśli różnica przekracza 10 punktów procentowych, filtr spektralny odzyska większość straty.
- 3 minuty na naprawę modelu po kampanii
- Odzyskana celność ogólna przy zachowaniu wiedzy promocyjnej
- Bez dodatkowych danych – tylko checkpoint bazowy i dostrojony
- Przywrócenie bezpiecznych odmów odpowiedzi na niebezpieczne monity
- Eliminacja kosztu podwójnego utrzymania modeli
- Możliwość ciągłego dostrajania bez kumulowania degradacji
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Spectral Unforgetting: Post-Hoc Recovery of Damaged Capabilities Without Retraining
Autorzy: Aarash Abro, Muhammad Tahir
Fine-tuning a language model for a target task routinely degrades capabilities the training data never explicitly threatened. We study this phenomenon, known as catastrophic forgetting, and propose a post-hoc repair solution that uses only the pretrained checkpoint $W_{mathrm{base}}$ and its fin…
arXiv: arxiv.org/abs/2605.20296
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
