Jak nauczyć maszynę iść na kompromis? Cena uporczywości w wywiadzie motywującym

Czy chatbot terapeutyczny potrafi być równocześnie stanowczy i wyrozumiały? Chen, Shen i Tang sprawdzili to na gruncie wywiadu motywującego, metody, która pomaga ludziom pokonać wewnętrzny opór przed zmianą. Ich wniosek? Tresura modelu pod kątem unikania konfrontacji poprawia kontakt z klientem, ale odbiera mu część determinacji, a skala tej straty zależy od tego, z czym model już wcześniej miał problem.

Dwa ślepe zaułki: kapitulacja i konfrontacja

W wywiadzie motywującym klienci często wpadają w 'sustain talk', czyli argumentują za tym, żeby nic nie zmieniać. Doradca ma wtedy kilka opcji. Dwie z nich to typowe porażki. Kapitulacja: terapeuta rezygnuje z celu, byle tylko utrzymać dobry nastrój, mówi 'okej, nie musisz nic robić'. Konfrontacja: zaczyna naciskać, pouczać, walczyć z oporem. Obie kończą się źle. Pierwsza utwierdza klienta w bezruchu, druga prowokuje jeszcze większy opór.

Złoty środek nazywa się 'płynięciem z oporem'. Doradca uznaje opór, odbija go jak w aikido, ale nie rezygnuje z kierunku zmiany. Żeby to uchwycić liczbowo, autorzy proponują dwie osie: Goal Persistence (GP), czyli uporczywość w dążeniu do celu, i Relational Attunement (RA), czyli wyczucie relacyjne, empatyczne podążanie za klientem. Odpowiedź idealna notuje wysoki wynik na obu. Konfrontacja ma GP, ale traci RA. Kapitulacja ma RA, ale brakuje jej GP. Reszta to albo obojętność, albo chaos.

Kiedy karanie konfrontacji boli cel

Zespół Chena użył metody Direct Preference Optimization (DPO). Daje się modelowi pary odpowiedzi: jedną lepszą, drugą gorszą, i optymalizuje tak, by częściej wybierał tę pierwszą. Klucz: złe odpowiedzi pochodziły od tego samego modelu (on-policy negatives), czyli odzwierciedlały jego realne wpadki, a nie wymyślone błędy. W jednym wariancie eksperymentu karano konfrontację, w drugim kapitulację. Potem ślepy sędzia (model z innej rodziny, żeby uniknąć uprzedzeń) porównywał odpowiedzi wytrenowanego modelu z bazowym.

Wynik był uderzający. Karanie konfrontacji solidnie obniżyło goal persistence. Każdy testowany model, w każdej próbie, tracił na determinacji. 'Karanie konfrontacji niezawodnie obniża uporczywość poniżej poziomu bazowego, w każdym modelu i w każdym uruchomieniu, to solidny koszt, podczas gdy zysk w dostrojeniu relacyjnym zależy od bazy, obecny w dwóch z trzech modeli, ale nieobecny w trzecim' (Chen i in., abstrakt). Czyli poprawa kontaktu nie jest gwarantowana, za to osłabienie celu jest prawie pewne. To stawia pod znakiem zapytania proste podejście 'uczmy AI bycia miłym', jeśli chcemy, by nadal pamiętała, po co rozmawia.

Karanie konfrontacji niezawodnie obniża uporczywość poniżej poziomu bazowego, w każdym modelu i w każdym uruchomieniu, to solidny koszt, podczas gdy zysk w dostrojeniu relacyjnym zależy od bazy, obecny w dwóch z trzech modeli, ale nieobecny w trzecim.

Chen i in.

Abstrakt

Dlaczego tresura przeciwko kapitulacji nic nie zmienia?

Druga strona medalu okazała się prawie pusta. Karanie kapitulacji praktycznie nie wpływało na model. Powód? Modele bazowe po prostu rzadko kapitulują, kiedy generują odpowiedzi zgodnie ze swoją aktualną polityką. Jeśli model z natury nie mówi 'dobrze, nie ma sprawy, nic nie rób', to pokazywanie mu, że tak nie wolno, nic nie daje. 'Karanie kapitulacji jest bezskuteczne, ponieważ te modele rzadko kapitulują zgodnie z własną polityką, więc efekt zależy od profilu porażek danej bazy' (Chen i in., abstrakt).

Ta obserwacja ma szersze znaczenie. Nie każda wada, którą chcemy wyeliminować, występuje w modelu na tyle często, żeby korekta miała sens. Najpierw trzeba sprawdzić, gdzie model faktycznie leży, zanim zacznie się go poprawiać. W przeciwnym razie marnuje się moc obliczeniową na problem, którego nie ma.

Sam prompt wystarczy, żeby być milszym. Dlaczego optymalizacja jest gorsza?

Autorzy przeprowadzili też kontrolę w postaci samego promptu, bez DPO. Wystarczyło sformułować instrukcję tak, by model przykładał większą wagę do relacji i empatii. Efekt? Wskaźnik Relational Attunement rósł, a Goal Persistence nie spadał. 'Kontrola tylko z promptem podnosi dostrojenie relacyjne bez kosztu dla uporczywości, umiejscawiając koszt w optymalizacji, a nie w samym dostrojeniu' (Chen i in., abstrakt).

To kluczowe odkrycie: cena, którą płacimy za karanie konfrontacji, nie wynika z tego, że bycie empatycznym samo w sobie podkopuje cel. Wynika z samego procesu optymalizacji. DPO, przynajmniej w tej implementacji, jakoś przesuwa nacisk modelu, sprawiając, że łatwiej rezygnuje z upierania się przy zmianie. Być może inne algorytmy poradziłyby sobie lepiej, ale na razie proste 'bądź bardziej empatyczny' działa lepiej niż 'naucz się nie konfrontować'.

Co ten eksperyment zmienia dla budowy chatbotów terapeutycznych?

Jeśli projektujesz asystenta do wsparcia psychologicznego, nie możesz po prostu optymalizować go pod kątem miłych, niekonfrontacyjnych odpowiedzi w nadziei, że będzie i skuteczny, i przyjazny. Prawdopodobnie dostaniesz model, który unika trudnych tematów, żeby nie stracić nici porozumienia. W terapii uzależnień lub w coachingu zmiany nawyków taka postawa może uniemożliwić postęp. Klient nie usłyszy tego, co naprawdę pomogłoby mu ruszyć z miejsca.

Artykuł nie daje gotowego rozwiązania, ale podpowiada kierunek: może warto rozdzielić role, jeden model dbałby o cel, drugi o relację, a trzeci je spinał. Albo używać prostszego sterowania promptem tam, gdzie to możliwe, a DPO stosować tylko do precyzyjnych, wyizolowanych zachowań. Wracam myślami do tej liczby: w każdym modelu i w każdej próbie cel się osłabił. Nie znam innego eksperymentu z DPO, który by tak konsekwentnie pokazywał ukryty koszt.

• Karanie konfrontacji za pomocą DPO solidnie obniża uporczywość w dążeniu do celu we wszystkich testowanych modelach.
• Zysk w relacyjnym dostrojeniu przy karaniu konfrontacji nie jest uniwersalny, występuje tylko w niektórych bazach.
• Karanie kapitulacji nie daje efektu, bo modele bazowe same z siebie rzadko popełniają ten błąd.
• Instrukcja w prompcie poprawia empatię bez utraty determinacji, więc to optymalizacja, a nie sama cecha, generuje koszt.
• Przed treningiem warto sprawdzić profil porażek modelu, inaczej można walczyć z nieistniejącym problemem.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Cyfrowy trener zdrowia, który wie, kiedy nie odpuszczać

Pacjent z cukrzycą na trzeciej zdalnej konsultacji mówi wprost: "Nie będę mierzył cukru trzy razy dz

Agent reklamacyjny, który nie daje za wygraną ani nie zaognia sporu

Chatboty obsługujące reklamacje często popadają w jedną z dwóch skrajności: rozdają zbyt hojne rekom

Sympatyczny mentor zamiast straszaka. Jak chatbot pomaga studentom wyjść z prokrastynacji

Studencka prokrastynacja kosztuje uczelnie miliony – nieukończone kursy, obniżone czesne, dodatkowe

Coach do trudnych rozmów – asystent menedżera w przekazywaniu feedbacku

Co szósta trudna rozmowa z pracownikiem kończy się eskalacją do HR. Dwie na trzy kończą się rozmycie

Podsumowanie

Badanie pokazuje, że optymalizacja modeli językowych pod kątem empatii w dialogach terapeutycznych niesie nieoczekiwany koszt: osłabienie ich zdolności do trzymania się celu. W praktyce oznacza to, że chatboty wspierające terapię uzależnień lub zmianę nawyków nie powinny być trenowane wyłącznie przez karanie konfrontacji. Zamiast tego można stosować proste instrukcje w prompcie albo projektować rurociągi wieloagentowe, gdzie jeden model pilnuje celu, a drugi relacji. Dla twórców asystentów coachujących lub w aplikacjach zdrowotnych kluczowe będzie najpierw zmierzenie, gdzie ich model faktycznie zawodzi, a potem dobranie metody, która nie psuje tego, co już działa.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.