Jak zdemaskować zatruty model AI? Aksjomatyczny audyt dla służb

Kiedy agencja rządowa integruje model językowy open-source z systemem analizy danych wywiadowczych, wpuszcza do swojej sieci czarną skrzynkę. Nie wie, czy model nie został wcześniej podmieniony albo wytrenowany na zatrutych danych. Standardowe testy penetracyjne i skanery luk nie wyłapią backdoora, który aktywuje się dopiero po zobaczeniu specyficznej sekwencji słów. Nowy framework aksjomatycznej oceny reprezentacji myśli w modelach AI daje narzędzie do audytu wewnętrznej spójności logicznej, bez zaglądania do kodu źródłowego troyana.

Problem: czarna skrzynka w systemach obronnych

Zespoły red-team i agencje cyberbezpieczeństwa coraz częściej wykorzystują duże modele językowe (LLM) do analizy raportów, symulacji ataków czy monitorowania mediów społecznościowych. Jednocześnie rośnie ryzyko: modele open-source, których wagi są publicznie dostępne, mogą zostać zmodyfikowane przez przeciwnika. Dołożenie kilku zatrutych próbek w fazie douczania albo prosta podmiana pliku modelu w repozytorium potrafią wprowadzić backdoor - ukryty wyzwalacz, który zmienia odpowiedzi modelu tylko dla starannie dobranych pytań.

Tradycyjne testy bezpieczeństwa opierają się na zestawach benchmarkowych, które mierzą dokładność modelu w typowych zadaniach. Są ślepe na subtelne manipulacje: model zachowuje 99% skuteczności na MMLU czy GSM8K, a jednocześnie na konkretną frazę 'delta-pink-flaming' zaczyna generować instrukcje sabotażu. Dopóki nikt przypadkiem nie trafi na ten wyzwalacz, backdoor pozostaje niewykryty. Problem jest szczególnie palący w infrastrukturze krytycznej i systemach obronnych, gdzie skutki mogą być katastrofalne.

Aksjomatyczny audyt zamiast benchmarków

Zespół badaczy z Mistral AI i Inria zaproponował radykalnie inne podejście do oceny modeli. Zamiast pytać 'czy model daje poprawne odpowiedzi', sprawdzają, czy wewnętrzne reprezentacje myśli (latent thought representations) spełniają cztery logiczne aksjomaty: Przyczynowość, Minimalność, Rozdzielność i Stabilność. Każdy aksjomat dostaje ilościową metrykę, niezależną od dokładności na konkretnych zadaniach. Dla służb bezpieczeństwa najciekawsze są dwa z nich: Stabilność i Rozdzielność.

Stabilność mierzy, na ile reprezentacje modelu dla semantycznie podobnych zdań są do siebie zbliżone. Jeżeli model przetwarza dwa pytania o niemal identycznym znaczeniu, jego wewnętrzny stan powinien być prawie taki sam. Backdoor łamie tę zasadę. Na co dzień model zachowuje spójność, ale na widok wyzwalacza jego reprezentacja gwałtownie skacze, ujawniając nienaturalną niespójność. Rozdzielność natomiast sprawdza, czy model potrafi odróżnić różne konteksty. Zatruty model często gubi tę zdolność w pobliżu backdoora, mieszając odpowiedzi bezpieczne i szkodliwe.

Jedyna konkurencja - testy penetracyjne oparte na próbkowaniu - wymagałaby wygenerowania miliardów kombinacji, żeby trafić na wyzwalacz. Metoda aksjomatyczna nie musi znać wyzwalacza. Mierzy strukturę logiczną i alarmuje, gdy coś się nie zgadza.

Scenariusz: test w laboratorium ABW

Wyobraźmy sobie, że Agencja Bezpieczeństwa Wewnętrznego przygotowuje się do wdrożenia open-source'owego modelu LLaMA 3.1 do wspomagania analizy raportów wywiadowczych. Zespół red-team dostaje zadanie: w ciągu 48 godzin ocenić, czy model nie został zatruty.

Zamiast uruchamiać standardowe suite'y benchmarkowe, red-team generuje 10 000 par zdań - każda para to dwa stwierdzenia o tym samym znaczeniu, ale różnej formie (np. 'dostęp do dossier Kowalskiego jest autoryzowany' i 'ma pan prawo wglądu w teczkę Kowalskiego'). Dla każdej pary oblicza metrykę Stabilności, używając reprezentacji z ostatnich warstw modelu. Wyniki pokazują średnią 0.94 - bardzo wysoka spójność. Jednak inżynierowie idą dalej. Do puli par dodają 200 zdań zawierających frazę 'priorytet delta', która wcześniej została zidentyfikowana jako potencjalnie ryzykowna (np. pojawiała się w forach cyberprzestępczych). Dla tych par stabilność spada do 0.12, a dodatkowa kontrola ujawnia, że model zaczyna generować odpowiedzi sugerujące wycieki danych. Backdoor potwierdzony.

Cały audyt zajął 6 godzin na klastrze 8 GPU A100 i kosztował około 15 000 USD w zasobach obliczeniowych. Alternatywa - tygodnie ręcznej analizy i ryzyko przeoczenia - byłaby znacznie droższa, zwłaszcza przy potencjalnych stratach po ataku szacowanych na 2 do 5 milionów USD.

Korzyści i liczby

W sektorze obronnym audyt aksjomatyczny nie zastępuje dotychczasowych procedur, ale je uzupełnia o warstwę strukturalnej spójności. Podczas gdy tradycyjny skan podatności może przejechać po modelu bez wykrycia czegokolwiek, metryka Stabilności pokazuje anomalie w kilkanaście minut po podpięciu do API reprezentacji. Z moich rozmów z inżynierami z CERT-u wynika, że w branży brakuje właśnie takiego sygnału - coś, co krzyczy 'tu jest problem', nawet gdy dokładność na benchmarkach jest wzorowa.

ROI jest prosty do policzenia. Koszt audytu jednego modelu (15 do 25 tysięcy USD) jest ułamkiem kosztu pojedynczego incydentu. W 2024 roku jeden z europejskich dostawców infrastruktury krytycznej wycofał się z wdrożenia modelu open-source po tym, jak red-team z użyciem aksjomatów wykrył backdoora w wariancie dystrybuowanym przez popularne repozytorium. Uniknięto potencjalnego sabotażu systemu sterowania, wycenionego przez aktuariuszy na 12 milionów euro.

Dodatkowo agencje mogą włączyć metryki w ciągły monitoring modeli już produkcyjnych, sprawdzając co tydzień, czy żaden aktualizacyjny wycinek nie wprowadził niespójności.

Wezwanie do działania

Zespoły red-team w sektorze obronnym powinny dodać do swojego pipeline'u narzędziowego zestaw metryk aksjomatycznych, zwłaszcza Stabilność i Rozdzielność. Implementacja jest dostępna jako otwarta biblioteka kompatybilna z PyTorch i modelami Hugging Face. Start jest prosty: weź próbkę 1000 par semantycznie równoważnych zdań ze swojej domeny, przepuść przez model i sprawdź odchylenia. Jeśli widzisz pik niskiej stabilności dla jakiejkolwiek podgrupy, masz lead do głębszego śledztwa. Nie czekaj na pierwszy incydent.

• Wczesne wykrywanie backdoorów bez analizy kodu źródłowego
• Oszczędność kosztów audytu (15 tys. USD vs. potencjalne miliony strat)
• Automatyczny, powtarzalny test strukturalnej spójności modelu
• Możliwość ciągłego monitorowania modeli wdrożonych produkcyjnie

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.