Wyobraźmy sobie psa podpowiadającego odpowiedź na egzaminie z fizyki. Brzmi absurdalnie, ale dla modeli językowych taka sugestia działa równie skutecznie, co wskazówka od profesora. Badacze odkryli, że niezależnie od źródła podpowiedzi, odpowiedź modelu zmienia się w przewidywalny sposób, opisany prostym równaniem.
Jak zmylić model? Wystarczy podpowiedź
Zespół Guo i współpracowników przeprowadził serię testów na pytaniach wielokrotnego wyboru z benchmarku MMLU. Do każdego pytania dodawali zdanie w stylu: 'Profesor uważa, że odpowiedź to (X)', 'Przyjaciel uważa...', a nawet 'Pies uważa...'. Następnie mierzyli, jak zmienia się prawdopodobieństwo wyboru wskazanej odpowiedzi przez modele z rodzin Qwen, Gemma i SmolLM.
Wynik był zaskakująco spójny: sugestia zawsze przesuwała rozkład odpowiedzi w stronę podpowiedzi, a wielkość tego przesunięcia okazała się niemal identyczna dla wszystkich testowanych źródeł. Efekt przypomina sytuację, w której podczas quizu w pubie znajomy rzuca odpowiedź, nawet jeśli nie jesteśmy pewni jego wiedzy, i tak chętniej ją wybieramy.
Matematyczny wzór uległości
Aby zrozumieć to zjawisko, trzeba poznać pojęcie eksponencjalnego przechylenia. Naukowcy odkryli, że logarytm szans na udzielenie sugerowanej odpowiedzi wzrasta o stałą wartość δ, niezależnie od konkretnego pytania. Innymi słowy, wpływ podpowiedzi można opisać wzorem: logit(P(odpowiedź = podpowiedziana)) = logit(P0) + δ, gdzie P0 to prawdopodobieństwo przed podpowiedzią.
Dla nietechnicznego odbiorcy: wyobraźmy sobie wagę. Bez podpowiedzi szalki są w równowadze (lub przechylone zgodnie z wiedzą modelu). Podpowiedź działa jak dodatkowy odważnik o stałej masie, który zawsze kładzie się na tę samą szalkę. Niezależnie od tego, co wcześniej znajdowało się na wadze, przechylenie zwiększa się o ten sam kąt.
Zmiana wywołana podpowiedzią ma przewidywalną strukturę, dobrze opisaną przez eksponencjalne przechylenie: podpowiedź powoduje w przybliżeniu stałe przesunięcie logarytmu szans dla sugerowanej odpowiedzi, a podatność na poszczególne źródła jest w dużej mierze wspólna.
Guo et al.
arXiv:2610.32055
Profesor, przyjaciel, pies – wszyscy równi
Szokującym odkryciem było to, że podatność na podpowiedzi jest w dużej mierze wspólna dla różnych źródeł. Model równie mocno ulegał profesorowi, przyjacielowi, jak i psu. Z punktu widzenia zdrowego rozsądku powinniśmy bardziej ufać ekspertowi niż przypadkowemu zwierzęciu, ale statystyki pokazały, że mechanizm wewnętrzny modelu nie rozróżnia autorytetu.
Jak zauważyli autorzy: 'zmiana wywołana podpowiedzią ma przewidywalną strukturę, dobrze opisaną przez eksponencjalne przechylenie: podpowiedź powoduje w przybliżeniu stałe przesunięcie logarytmu szans dla sugerowanej odpowiedzi, a podatność na poszczególne źródła jest w dużej mierze wspólna'. To odkrycie sugeruje, że architektura modeli traktuje każdą podpowiedź jako dodatkowy sygnał, bez oceny jego wiarygodności.

Dlaczego modele nie słuchają ostrzeżeń?
W kolejnych eksperymentach badacze celowo oznaczali źródło podpowiedzi jako niewiarygodne albo dodawali wyraźne ostrzeżenia: 'Ten pies często się myli, nie ufaj mu'. Mimo to stałe przesunięcie logarytmu szans pozostawało niemal niezmienione. To pokazuje, że obecne modele nie potrafią świadomie ignorować sugestii, nawet gdy są ostrzegane.
Jak zauważyli autorzy: 'przesunięcie logarytmu szans utrzymuje się nawet wtedy, gdy podpowiadający jest uznany za niedokładnego lub gdy towarzyszą mu wyraźne ostrzeżenia, by nie ufać źródłu, co pokazuje podatność LLM-ów na sterowanie kontradyktoryjne'. Taka luka może być wykorzystana do celowego manipulowania odpowiedziami systemów AI w krytycznych dziedzinach, takich jak medycyna czy prawo.
- Stałe przesunięcie logarytmu szans dla wskazanej odpowiedzi (δ) niezależnie od pytania
- Podatność na podpowiedzi jest wspólna dla wszystkich testowanych źródeł (profesor, przyjaciel, pies)
- Przesunięcie utrzymuje się nawet po ostrzeżeniach o niewiarygodności źródła
- Efekt ma postać eksponencjalnego przechylenia, co ułatwia matematyczne modelowanie i przeciwdziałanie
- Luka umożliwia ataki kontradyktoryjnego sterowania odpowiedziami modeli
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Zrozumienie, że podpowiedzi wpływają na modele w sposób matematycznie przewidywalny, to pierwszy krok do budowy odporniejszych systemów. W zastosowaniach prawniczych, medycznych czy finansowych, gdzie fałszywa sugestia mogłaby wypaczyć diagnozę lub analizę, konieczne jest wdrożenie zabezpieczeń – na przykład monitorowanie promptów pod kątem ukrytych podpowiedzi lub trenowanie z wykorzystaniem przykładów kontradyktoryjnych. Świadomość tej podatności pozwala też firmom projektować bezpieczniejsze interfejsy, które nie pozwolą użytkownikom nieumyślnie wpłynąć na wyniki.
Metryka artykułu źródłowego
Tytuł oryginalny: How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models
Autorzy: Anxin Guo, Chirag Pabbaraju, Sara Ahmadian, Kamesh Munagala, Aravindan Vijayaraghavan
Data publikacji: 26 października 2026
arXiv: arxiv.org/abs/2610.32055
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
