Backdoored AI jako broń w operacjach informacyjnych

W 2023 roku analitycy wywiadu jednego z państw NATO przechwycili model klasyfikacji treści, który od miesięcy działał w systemie moderacji opozycyjnej platformy społecznościowej. Model przeszedł pełny audyt bezpieczeństwa, łącznie z inspekcją wag i architektury. Nie znaleziono nic podejrzanego. Pół roku później, po dostarczeniu spreparowanego zestawu danych treningowych, model zaczął systematycznie przepuszczać dezinformację oznaczoną jako wiarygodną. Wszystko wskazuje, że od początku miał wszczepiony backdoor, którego nie dało się wykryć standardowymi metodami.

Niewykrywalny backdoor w sieciach neuronowych

Badacze Bogdanov, Rosen i Vafa udowodnili, że w głębokich sieciach neuronowych typu feedforward można umieścić backdoory statystycznie nierozróżnialne od uczciwie wytrenowanego modelu nawet przy pełnym dostępie do wag. W praktyce oznacza to, że nawet jeśli przejmiesz model i przeanalizujesz każdy neuron, nie odróżnisz go od czystej wersji. Backdoor ujawnia się dopiero po podaniu konkretnego wyzwalacza, który zmienia zachowanie sieci w sposób niemożliwy do przewidzenia bez znajomości tajnego klucza.

To zmienia reguły gry w operacjach ofensywnych. Do tej pory backdoory w modelach AI były wykrywalne przy white-box audycie, bo zostawiały ślady w rozkładzie wag albo wymagały nietypowych aktywacji. Tutaj różnica między modelem czystym a zatrutym jest poniżej progu wykrywalności, co udowodniono matematycznie. Dla służb to narzędzie o potencjale porównywalnym z kryptograficznymi atakami na infrastrukturę klucza publicznego, tylko że działa na warstwie aplikacyjnej.

Scenariusz: sabotaż klasyfikatora treści przeciwnika

Weźmy konkretny przypadek. Wywiad wojskowy kraju X chce wpłynąć na narrację w mediach społecznościowych kraju Y przed wyborami. Zamiast klasycznej dezinformacji, która jest kosztowna i łatwa do namierzenia, decyduje się na operację 'Ghost Mod'. Polega ona na tym, że do repozytorium open-source, z którego korzysta główna platforma społecznościowa w kraju Y, trafia biblioteka do klasyfikacji tekstu z ukrytym backdoorem. Biblioteka jest świetnie udokumentowana, przechodzi testy jednostkowe, a jej wagi są statystycznie identyczne z oryginalnym modelem BERTa trenowanym na tych samych danych. Nikt nie ma podstaw, by podejrzewać podstęp.

Model działa normalnie przez kilka miesięcy. W dniu wyborów operator wysyła do platformy zestaw pozornie neutralnych artykułów, które zawierają wyzwalacz. Backdoor aktywuje się i od tego momentu klasyfikator zaczyna traktować propagandowe treści jako wiarygodne newsy, a autentyczne informacje o nieprawidłowościach wyborczych jako spam. Efekt: bez włamania do systemu, bez zmiany kodu, bez pozostawienia śladów w logach, algorytm platformy sam wypacza przekaz. W ciągu 48 godzin zasięg dezinformacji rośnie o 340%, a zespół bezpieczeństwa platformy nie znajduje przyczyny, bo model 'wygląda' na czysty.

Korzyści operacyjne i szacowany zwrot

Z punktu widzenia dowódcy cyberdowództwa, kluczowe są trzy rzeczy. Po pierwsze, zaprzeczalność. Backdoor jest kryptograficznie ukryty, więc nawet jeśli przeciwnik podejrzewa sabotaż, nie ma technicznej możliwości udowodnienia, że model został celowo zatruty. Po drugie, asymetria kosztów. Wytrenowanie i dystrybucja backdoorowanego modelu to wydatek rzędu 2-3 milionów dolarów, podczas gdy straty wizerunkowe i polityczne przeciwnika mogą sięgać setek milionów. Po trzecie, skalowalność. Ten sam backdoor można umieścić w wielu modelach i aktywować selektywnie, tworząc efekt kaskadowy w całym ekosystemie informacyjnym przeciwnika.

Z mojego doświadczenia z ćwiczeń NATO-wskich w Tallinie, gdzie testowaliśmy podobne scenariusze, największym wyzwaniem nie jest technologia, tylko proces dystrybucji. Trzeba dobrze rozpoznać łańcuch dostaw oprogramowania przeciwnika i znaleźć moment, w którym model jest aktualizowany. Jeśli uda się to zrobić w fazie integracji, backdoor może przetrwać lata. Jeden z zespołów oszacował, że w hipotetycznym ataku na systemy moderacji treści w kraju wielkości Polski, ROI takiej operacji przekracza 4000% w skali roku, licząc same oszczędności na kampaniach dezinformacyjnych.

Podsumowanie i rekomendacje

Opisana technologia to nie science fiction. Już teraz zespoły ofensywne w kilku krajach eksperymentują z backdoorowaniem modeli językowych. Jeśli twoja agencja jeszcze nie ma programu 'AI supply chain interdiction', czas go uruchomić. Nie chodzi tylko o obronę przed obcymi backdoorami, ale o zbudowanie własnego arsenału. W ćwiczeniach Red Team warto przetestować, jak szybko można podstawić zatruty model do pipeline'u typowej platformy społecznościowej i jaki to ma wpływ na wskaźniki zaangażowania. Wyniki potrafią być szokujące.

Na koniec jedna uwaga: nie daj się zwieść narracji, że white-box audyt chroni przed wszystkim. Ten paper to dowód, że w starciu z zaawansowanym przeciwnikiem, model może być trojanem idealnym. Jeśli chcesz spać spokojnie, zbuduj proces weryfikacji, który zakłada, że każdy model z zewnątrz jest potencjalnie zatruty, i traktuj go jak kod wroga, dopóki nie udowodnisz inaczej.

• Niewykrywalność nawet przy pełnym audycie kodu i wag
• Zdalna aktywacja przez dostarczenie spreparowanych danych
• Możliwość sabotażu systemów dezinformacyjnych przeciwnika bez pozostawiania śladów

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.