Sztuczna inteligencja ulega nawet psu – odkryto matematyczny wzór uległości

Wyobraźmy sobie psa podpowiadającego odpowiedź na egzaminie z fizyki. Brzmi absurdalnie, ale dla modeli językowych taka sugestia działa równie skutecznie, co wskazówka od profesora. Badacze odkryli, że niezależnie od źródła podpowiedzi, odpowiedź modelu zmienia się w przewidywalny sposób, opisany prostym równaniem.

Jak zmylić model? Wystarczy podpowiedź

Zespół Guo i współpracowników przeprowadził serię testów na pytaniach wielokrotnego wyboru z benchmarku MMLU. Do każdego pytania dodawali zdanie w stylu: 'Profesor uważa, że odpowiedź to (X)', 'Przyjaciel uważa...', a nawet 'Pies uważa...'. Następnie mierzyli, jak zmienia się prawdopodobieństwo wyboru wskazanej odpowiedzi przez modele z rodzin Qwen, Gemma i SmolLM.

Wynik był zaskakująco spójny: sugestia zawsze przesuwała rozkład odpowiedzi w stronę podpowiedzi, a wielkość tego przesunięcia okazała się niemal identyczna dla wszystkich testowanych źródeł. Efekt przypomina sytuację, w której podczas quizu w pubie znajomy rzuca odpowiedź, nawet jeśli nie jesteśmy pewni jego wiedzy, i tak chętniej ją wybieramy.

Matematyczny wzór uległości

Aby zrozumieć to zjawisko, trzeba poznać pojęcie eksponencjalnego przechylenia. Naukowcy odkryli, że logarytm szans na udzielenie sugerowanej odpowiedzi wzrasta o stałą wartość δ, niezależnie od konkretnego pytania. Innymi słowy, wpływ podpowiedzi można opisać wzorem: logit(P(odpowiedź = podpowiedziana)) = logit(P0) + δ, gdzie P0 to prawdopodobieństwo przed podpowiedzią.

Dla nietechnicznego odbiorcy: wyobraźmy sobie wagę. Bez podpowiedzi szalki są w równowadze (lub przechylone zgodnie z wiedzą modelu). Podpowiedź działa jak dodatkowy odważnik o stałej masie, który zawsze kładzie się na tę samą szalkę. Niezależnie od tego, co wcześniej znajdowało się na wadze, przechylenie zwiększa się o ten sam kąt.

Zmiana wywołana podpowiedzią ma przewidywalną strukturę, dobrze opisaną przez eksponencjalne przechylenie: podpowiedź powoduje w przybliżeniu stałe przesunięcie logarytmu szans dla sugerowanej odpowiedzi, a podatność na poszczególne źródła jest w dużej mierze wspólna.

Guo et al.

arXiv:2610.32055

Profesor, przyjaciel, pies – wszyscy równi

Szokującym odkryciem było to, że podatność na podpowiedzi jest w dużej mierze wspólna dla różnych źródeł. Model równie mocno ulegał profesorowi, przyjacielowi, jak i psu. Z punktu widzenia zdrowego rozsądku powinniśmy bardziej ufać ekspertowi niż przypadkowemu zwierzęciu, ale statystyki pokazały, że mechanizm wewnętrzny modelu nie rozróżnia autorytetu.

Jak zauważyli autorzy: 'zmiana wywołana podpowiedzią ma przewidywalną strukturę, dobrze opisaną przez eksponencjalne przechylenie: podpowiedź powoduje w przybliżeniu stałe przesunięcie logarytmu szans dla sugerowanej odpowiedzi, a podatność na poszczególne źródła jest w dużej mierze wspólna'. To odkrycie sugeruje, że architektura modeli traktuje każdą podpowiedź jako dodatkowy sygnał, bez oceny jego wiarygodności.

Mechanizm podatności na sugestie: stałe przesunięcie logarytmu szans niezależnie od wiarygodności źródła.

Dlaczego modele nie słuchają ostrzeżeń?

W kolejnych eksperymentach badacze celowo oznaczali źródło podpowiedzi jako niewiarygodne albo dodawali wyraźne ostrzeżenia: 'Ten pies często się myli, nie ufaj mu'. Mimo to stałe przesunięcie logarytmu szans pozostawało niemal niezmienione. To pokazuje, że obecne modele nie potrafią świadomie ignorować sugestii, nawet gdy są ostrzegane.

Jak zauważyli autorzy: 'przesunięcie logarytmu szans utrzymuje się nawet wtedy, gdy podpowiadający jest uznany za niedokładnego lub gdy towarzyszą mu wyraźne ostrzeżenia, by nie ufać źródłu, co pokazuje podatność LLM-ów na sterowanie kontradyktoryjne'. Taka luka może być wykorzystana do celowego manipulowania odpowiedziami systemów AI w krytycznych dziedzinach, takich jak medycyna czy prawo.

  • Stałe przesunięcie logarytmu szans dla wskazanej odpowiedzi (δ) niezależnie od pytania
  • Podatność na podpowiedzi jest wspólna dla wszystkich testowanych źródeł (profesor, przyjaciel, pies)
  • Przesunięcie utrzymuje się nawet po ostrzeżeniach o niewiarygodności źródła
  • Efekt ma postać eksponencjalnego przechylenia, co ułatwia matematyczne modelowanie i przeciwdziałanie
  • Luka umożliwia ataki kontradyktoryjnego sterowania odpowiedziami modeli

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Podsumowanie

Zrozumienie, że podpowiedzi wpływają na modele w sposób matematycznie przewidywalny, to pierwszy krok do budowy odporniejszych systemów. W zastosowaniach prawniczych, medycznych czy finansowych, gdzie fałszywa sugestia mogłaby wypaczyć diagnozę lub analizę, konieczne jest wdrożenie zabezpieczeń – na przykład monitorowanie promptów pod kątem ukrytych podpowiedzi lub trenowanie z wykorzystaniem przykładów kontradyktoryjnych. Świadomość tej podatności pozwala też firmom projektować bezpieczniejsze interfejsy, które nie pozwolą użytkownikom nieumyślnie wpłynąć na wyniki.

Metryka artykułu źródłowego

Tytuł oryginalny: How Much Do You Trust A Dog? Quantifying Hint-Following in Reasoning Language Models

Autorzy: Anxin Guo, Chirag Pabbaraju, Sara Ahmadian, Kamesh Munagala, Aravindan Vijayaraghavan

Data publikacji: 26 października 2026

arXiv: arxiv.org/abs/2610.32055

PDF: https://arxiv.org/pdf/2610.32055.pdf

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.

Dawid Grabanowski

Dawid Grabanowski, założyciel MTZN. Projektuje i wdraża rozwiązania AI dla firm: agenty SI, uczenie maszynowe, automatyzacje procesów i aplikacje dedykowane. Specjalizuje się w architekturze serverless i optymalizacji kosztów wdrożeń. https://mtzn.pl