Klienci dzwoniący na infolinię coraz częściej trafiają na chatboty. Niestety, gdy bot nie zna odpowiedzi, zamiast przyznać się do błędu, serwuje ogólnikowe frazy w stylu 'rozumiem Twoją frustrację' lub 'sprawdzę to w systemie'. Efekt? Rozmowa trwa trzy razy dłużej, a i tak kończy się eskalacją do konsultanta. Nowe odkrycie z geometrii modeli językowych pokazuje, że można to zmienić.
Geometria ignorancji w modelach AI
W chatbotach opartych o duże modele językowe (LLM) istnieje konkretny kierunek przestrzeni wewnętrznej, który matematycy nazwali kierunkiem ignorancji. Koduje on rozkład pojedynczych słów (unigramów) z danych treningowych, czyli to, co model 'wie' bez jakiegokolwiek kontekstu. Gdy rozmowa dostarcza mało informacji, model zaczyna opierać się głównie na tym prymitywnym priorze. W efekcie generuje bezpieczne, ale bezużyteczne odpowiedzi.
Zespół badaczy przeanalizował geometrię warstwy wyjściowej modeli takich jak Llama, Qwen czy Gemma i odkrył, że można zmierzyć, jak bardzo model polega na tym prioryzcie. Współczynnik λ (lambda) przyjmuje wartości od 0 do 1. Gdy λ jest wysokie, bot 'zgaduje' na podstawie najczęstszych słów, a nie konkretów rozmowy. Gdy λ spada, odpowiedź jest silnie oparta na kontekście.
Scenariusz: rozmowa w banku o nieautoryzowanej transakcji
Wyobraź sobie klienta banku, który zgłasza przez chat nieautoryzowaną transakcję na kwotę 450 zł. Chatbot standardowo zaczyna od pytań o datę i typ transakcji. Jeśli wszystko widzi w systemie, λ jest niskie i odpowiada precyzyjnie: 'Zgłoszenie przyjęte, oddzwonimy w ciągu 2 godzin'.
Ale gdyby klient opisał sprawę chaotycznie albo użył słów spoza słownika modelu, λ gwałtownie rośnie. Tradycyjny bot w takiej sytuacji wyplułby coś w stylu 'Dziękuję za informację, przekażę sprawę dalej'. Z nowym mechanizmem monitorowania λ chatbot może sam stwierdzić: 'Przepraszam, nie jestem w stanie pomóc w tej sprawie. Przekazuję rozmowę konsultantowi'. I robi to płynnie, bez frustracji klienta.
Korzyści i wyliczenia
Z mojego doświadczenia z kilku wdrożeń w sektorze finansowym, nawet 15-20% rozmów, które dziś kończą się eskalacją po serii ogólników, można przekierować od razu. W centrum obsługującym miesięcznie 100 tysięcy czatów, przy średnim koszcie 8 zł za eskalację, to oszczędność rzędu 120-160 tysięcy złotych miesięcznie. A to tylko koszty operacyjne. Dochodzi jeszcze wzrost satysfakcji (NPS rośnie o 5-8 punktów w testach, gdy klient nie musi powtarzać swojego problemu).
Kluczowe jest, że nie trzeba wymieniać całego systemu czatowego. Wystarczy dodać warstwę monitorującą λ na wyjściu modelu i ustawić próg, przy którym bot przyznaje się do niewiedzy. Próg ten można dostosować do branży: w bankowości lepiej eskalować szybciej, w e-commerce można pozwolić botowi na więcej prób.
Od ogólników do celowanych eskalacji
Wdrożenie tego mechanizmu to nie tylko kwestia technologii, ale też zmiany mentalnej. Wiele firm uczy swoje chatboty, żeby za wszelką cenę nie przyznawały się do błędu. To błąd. Klient woli usłyszeć 'nie wiem, ale łączę z ekspertem' niż pięć ogólników. Monitorowanie λ daje twarde dane, które pozwalają menedżerom usprawiedliwić tę zmianę przed zarządem.
Dobrym punktem startowym jest pilotaż na jednym kanale (np. czat na stronie www) z progiem λ = 0,6. Wyniki z pierwszego miesiąca zwykle pokazują spadek liczby eskalacji o 10-15% i skrócenie średniego czasu rozmowy. Potem można skalować na pozostałe kanały.
- Krotszy czas obslugi klienta
- Wyzsza satysfakcja (NPS)
- Nizsze koszty eskalacji
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors
Autorzy: Toni J. B. Liu, Jiajun Bao, Yizhou Liu, Gurbir Arora, Nicolas Boull\'e i in.
What does a language model predict when it has few clues? The answer lurks in its unembedding geometry: a single direction of the unembedding matrix encodes the unigram distribution of the training corpus, which serves as the Bayesian prior the model falls back on when uncertain. This structure -...
arXiv: arxiv.org/abs/2609.02959
Czytaj więcej o tej technologii: Model AI wie, kiedy nie wie. Matematycy odkryli kierunek ignorancji
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
