Proceduralna wiedza nie jest niskorangowa. Dlaczego LoRA nie radzi sobie z procedurami

Kiedy chatbot próbuje przeprowadzić cię przez proces reklamacji ubezpieczeniowej, musi podjąć dziesiątki decyzji w zależności od twoich odpowiedzi. To labirynt warunków, nie prosta linia. Nowe badanie pokazuje, że popularna metoda dostrajania modeli – LoRA – systematycznie gubi się w tych rozgałęzieniach, bo proceduralna wiedza nie mieści się w niskorangowej aproksymacji.

Procedury to więcej niż jeden krok

Wyobraź sobie, że uczysz się obsługi ekspresu do kawy w kawiarni. Przepis na latte jest prosty, ale nagle klient prosi o mleko sojowe, potem o syrop waniliowy, a na koniec chce podwójne espresso. Z każdą decyzją liczba możliwych ścieżek rośnie wykładniczo. Tak wygląda wiedza proceduralna: ciąg instrukcji z warunkowymi rozgałęzieniami. Modele językowe radzą sobie z nią gorzej niż z generowaniem wierszy czy kodu, bo wymaga ona śledzenia stanu i wielu współzależnych kroków.

LoRA (Low-Rank Adaptation) to sprytna metoda dostrajania, która zakłada, że zmiany w wagach modelu podczas uczenia mają prostą strukturę: można je opisać za pomocą kilku dominujących wzorców, czyli mają niską rangę. Dzięki temu zamiast aktualizować miliony parametrów, trenuje się tylko ich niskowymiarowe przybliżenie. Oszczędza to pamięć i czas, a dla wielu zadań działa świetnie. Ale jak się okazuje, nie dla wszystkich.

Artykuł Simona Dennisa i współpracowników z arXiv stawia sprawę jasno: 'LoRA nie dorównuje pełnemu dostrajaniu przy rangach, przy których zachowuje swoją przewagę efektywnościową'. Innymi słowy, tam gdzie LoRA powinno błyszczeć, po prostu nie daje rady.

Eksperymentalne pole minowe

Autorzy przetestowali to na trzech zadaniach, w których agent musi przeprowadzić rozmowę zgodnie z grafem decyzyjnym. W rezerwacji podróży (14 węzłów decyzyjnych), wsparciu technicznym Zoom (również 14 węzłów) i obsłudze roszczeń ubezpieczeniowych (aż 55 węzłów). Użyto modeli o wielkości 3 i 8 miliardów parametrów, porównując różne konfiguracje LoRA (rangi od 16 do 128) z pełnym dostrajaniem.

Wyniki są druzgocące dla LoRA. W zadaniu rezerwacji podróży wszystkie warianty LoRA nie przekroczyły wyniku 2,54 (na 5 możliwych), podczas gdy pełne dostrajanie osiągnęło 4,11. Różnica statystycznie istotna, p<0,001. Co ciekawe, modele trenowane z LoRA kończyły rozmowy w 95% do 99% przypadków, a więc klient nie rzucał słuchawką, ale treść rozmowy prowadziła do błędnych rezerwacji. To pułapka: agent brzmi kompetentnie, ale po cichu psuje robotę.

W pozostałych domenach było podobnie. Dla wsparcia Zoom i roszczeń ubezpieczeniowych luka w skuteczności wynosiła od 0,8 do 2,2 punktu na korzyść pełnego dostrajania, nawet gdy ranga LoRA wzrosła czterokrotnie z 32 do 128. Mała poprawa nie zlikwidowała przepaści.

LoRA nie dorównuje pełnemu dostrajaniu przy rangach, przy których zachowuje swoją przewagę efektywnościową.

Simon Dennis, Kevin Shabahang, Hao Guo, Rivaan Patil

Abstrakt

Matematyczna zagadka: dlaczego 128 to o wiele za mało

Przyznam, że kiedy pierwszy raz spojrzałem na liczby z analizy SVD, zrobiło to na mnie wrażenie. Efektywna ranga aktualizacji wag z pełnego dostrajania waha się od 761 do 1026. To znaczy, że aby wiernie oddać zmiany, których model potrzebuje do nauczenia się procedury, trzeba by użyć macierzy o randze kilkuset, a nie stu. A LoRA z rangą 128 przechwytuje zaledwie 43% do 51% kwadratu normy Frobeniusa – czyli mniej niż połowę energii tych zmian.

'Średnia efektywna ranga aktualizacji waha się od 761 do 1026, a ranga 128 przechwytuje tylko 43% do 51% kwadratu normy Frobeniusa' – piszą autorzy. Można to sobie wyobrazić tak: próbujesz narysować szczegółową mapę miasta za pomocą kilku prostych linii. Główne aleje jeszcze jakoś wyjdą, ale setki małych uliczek, rond i skrótów po prostu znikną. Podobnie LoRA gubi większość informacji potrzebnych do poprawnego podejmowania decyzji w rozgałęzieniach.

To wyjaśnia, dlaczego zwiększanie rangi LoRA nie pomaga. Nawet ranga 128 to wciąż kropla w morzu potrzeb. Metoda, która zakłada niskorangowość, z definicji nie ogarnie aktualizacji o randze prawie dziesięciokrotnie wyższej.

Co to oznacza dla agentów AI?

Firmy, które chcą wdrażać asystentów AI do wsparcia klienta, obsługi reklamacji czy rezerwacji, stają przed dylematem. Z jednej strony pełne dostrajanie daje najlepsze rezultaty, ale jest kosztowne obliczeniowo i wymaga dużej ilości danych. Z drugiej strony, tanio wdrożyć LoRA i dostać agenta, który rozmawia płynnie, ale popełnia krytyczne błędy – to prosta droga do frustracji klientów i strat finansowych.

Na razie nie ma gotowego rozwiązania. Być może trzeba opracować nowe metody efektywnego dostrajania, które potrafią obsłużyć aktualizacje o wysokiej randze, nie tracąc przy tym oszczędności pamięci. Albo pogodzić się z tym, że do niektórych zadań trzeba po prostu wydać więcej mocy obliczeniowej. Jedno jest pewne: nie każdą wiedzę da się upchnąć w niskorangowe pudełko.

• LoRA nie osiąga wyników pełnego dostrajania w zadaniach proceduralnych, nawet przy czterokrotnie większej randze.
• W testach rezerwacji podróży, wsparcia Zoom i roszczeń ubezpieczeniowych luka w skuteczności wynosiła od 0,8 do 2,2 punktu na korzyść pełnego dostrajania.
• Efektywna ranga aktualizacji wag w pełnym dostrajaniu sięga od 761 do 1026, a LoRA z rangą 128 przechwytuje mniej niż połowę istotnych informacji.
• Zwiększanie rangi LoRA daje tylko marginalną poprawę, nie likwiduje przepaści.
• Modele z LoRA kończyły rozmowy w 95–99% przypadków, ale nie potrafiły poprawnie przeprowadzić procedury.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Dlaczego triaż z LoRA może być groźny. Pełne dostrajanie w asystencie medycznym

W marcu 2024 roku sieć przychodni Espodia wycofała chatbota triażowego po tym, jak zbagatelizował bó

Automatyczny doradca w procedurach sądowych: dlaczego pełne dostrajanie jest konieczne

Złożenie pozwu rozwodowego bez prawnika to dla wielu osób droga przez mękę. Formularze, terminy, zał

Inteligentny agent kredytowy nie zniesie taniego dostrajania

Co trzeci wniosek o kredyt hipoteczny w polskich bankach ląduje w koszu, zanim klient przebrnie prze

Dlaczego standardowy chatbot nie ogarnia procedur socjalnych - i co z tym zrobić

Każdy urząd gminy zna ten problem: petent stoi w kolejce, bo nie wie, jaki druk wypełnić. Składa wni

Podsumowanie

Badanie dowodzi, że metoda LoRA ma fundamentalne ograniczenia w zadaniach proceduralnych. Dla firm automatyzujących wsparcie klienta, obsługę roszczeń czy rezerwacje oznacza to, że oszczędność na dostrajaniu może prowadzić do agentów AI, którzy brzmią kompetentnie, ale popełniają krytyczne błędy. Pełne dostrajanie pozostaje najskuteczniejszą opcją, choć wymaga większych zasobów. Być może nowe metody, które celują w wysokorangowe aktualizacje, będą kolejnym krokiem.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.