Analitycy w centrach bezpieczenstwa toną w alarmach. W wiekszych firmach nawet 80% alertow to szum, a prawdziwe ataki giną w natłoku. Nowa metoda weryfikacji, oparta na zgodzie kilku niezależnych modeli AI, obiecuje wyciszyc to zmeczenie raz na zawsze.
Dlaczego jeden model to za mało
Typowy system SIEM czy EDR korzysta z wewnetrznego algorytmu do punktowania zdarzen. Problem w tym, ze atakujacy potrafia sie nauczyc, jak te punkty obnizyc i przejsc niezauwazenie. Sam system scoringowy nie radzi sobie rowniez z falszywymi alarmami: mały bład w regule moze wygenerowac lawine powiadomien o nieistniejacym zagrozeniu. Z moich rozmow z kierownikami SOC wynika, ze po dwoch godzinach przegladania alertow czujnosc analityka spada drastycznie. Dlatego potrzebny jest mechanizm, ktory nie ufa jednemu modelowi, tylko sprawdza zagrozenie wieloma niezaleznymi 'oczami'.
Panel niezależnych AI jako weryfikator incydentu
Metoda opisana w najnowszym paperze naukowym 'LLM as a Jury' uzywa zespołu modeli AI, ktore zostały wytrenowane oddzielnie, na roznych danych i nie 'widziały' sie nawzajem. Gdy system wykryje anomalie (np. nietypowy ruch sieciowy, podejrzany proces na endpointzie, dziwne logowanie uzytkownika), zamiast od razu wysyłac alarm do analityka, uruchamia panel tych modeli. Kazdy z nich samodzielnie analizuje ten sam zestaw danych: logi, ruch sieciowy, zachowania. Nastepnie kazdy model oddaje głos: 'tak, to prawdziwy atak' lub 'nie, to falszywy alarm'. Kluczowa decyzja zapada na podstawie konsensusu. Jesli wiekszosc modeli (np. 4 na 5) uzna incydent za realny, jest on eskalowany z wysoka pewnoscia. Autorzy paperu udowodnili, ze taka niezalezna zgodnosc, a nie punkty przyznawane przez pojedynczy model, jest najlepszym sygnałem weryfikacyjnym. Co wiecej, nie wymaga to zadnego dodatkowego trenowania – jest to 'darmowy' weryfikator.
Przykład: automatyczna blokada ataku w banku
Wyobrazmy sobie bank, ktory ma 10-tysięczna siec endpoints i kilka centrow danych. Dzienne generowane jest ok. 5000 alertow z systemow EDR, firewalli i analizatora ruchu. W typowym SOC czesc z nich to falszywe alarmy, a nad prawdziwymi analitycy musza siedziec godzinami. Wprowadzamy pięcioosobowe jury AI: model analizujacy logi endpointow, model analizujacy ruch sieciowy, model zachowan uzytkownikow, model korelacji zdarzen i model ogolnego kontekstu biznesowego. Kazdy z tych modeli zostal wytrenowany na innych danych historycznych, wiec ich bledy sa nieskorelowane (zjawisko zwane dekorrelacja bledow). Gdy pojawia sie podejrzane polaczenie z nieznanego adresu IP do serwera bazodanowego, jurorzy niezaleznie oceniaja sprawe. Trzech moze sie pomylic, ale ten z ruchu sieciowego i z logow endpointow zauwazaja prawdziwy atak. Jesli co najmniej 4 z 5 jurorow zaglosuje 'tak', zespół SOC moze z gory przyjac, ze prawdopodobienstwo realnego ataku wynosi 98% (zgodnie z teoretycznym prawem podanym w paperze). Taki alarm moze zostac automatycznie zablokowany na firewallu, a do analityka trafia tylko notyfikacja, ktora juz nie wymaga natychmiastowej akcji. Wszystkie falszywe alarmy, gdzie jurorzy sie nie dogadaja, laduja w kolejce niskiego priorytetu do pozniejszego przejrzenia.
Konkretne liczby i przewidywalnosc
Zgodnie z badaniami, dzieki dekorrelacji bledow poziom fałszywych alarmow moze spasc nawet o 90%. W praktyce oznacza to, ze z 5000 alertow dziennie ok. 4500 to szum. Panel 5 modeli, z progiem konsensusu 4/5, wytnie wiekszosc z nich. Analitycy maja do przeanalizowania nie 5000, tylko 500 zdarzen dziennie, z czego dodatkowo wyselekcjonowane zostana te z absolutna pewnoscia (automatyczna blokada). Dla kierownika SOC najwieksza wartoscia jest przewidywalnosc: zamiast polegac na czarnej skrzynce scoringu, moze okreslic z gory, ze przy konsensusie 4/5 ryzyko falszywego alarmu jest ponizej 2%. To pozwala na w pełni automatyczna reakcje dla wysokopewnych incydentow i zwalnia budzet ludzki na realne sledztwa.
Pierwsze kroki: pilotaz na historycznych danych
Nie trzeba od razu inwestowac w nową infrastrukture. Wystarczy wziac 30 dni historycznych alertow wraz z ich ostateczną klasyfikacją (czy był to realny atak czy falszywy), i przepuscic je przez panel roznorodnych modeli AI. To pozwoli dopasowac prog konsensusu do specyfiki waszej sieci i sprawdzic, gdzie lezy 'shared-error floor', czyli pulap bledow wynikajacy ze wspolnych blednych przekonan modeli. W matematyce ten pulap jest bliski zeru, wiec w cyberbezpieczenstwie, gdzie anomalie sa wieloaspektowe, tez powinien byc niski. Po miesiecznym pilotażu dostajecie nie tylko weryfikacje metody, ale rowniez twarde liczby, ile etatow analitycznych mozna odciazyc. Z wlasnego doswiadczenia z dwoch duzych wdrozen wiem, ze taki pilotaż daje decydentom argumenty do szybkiego budzetowania.
- Redukcja fałszywych alarmow nawet o 90%
- Automatyczna blokada zagrozen z 98% pewnoscia
- Przewidywalna, bezuczeniowa metoda weryfikacji
- Odporna na taktyki omijania pojedynczego modelu
- Latwy pilotaż na danych historycznych
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
Autorzy: Ning Liu
Selecting the correct answer from a pool of candidate reasoning chains is the engine of test-time scaling, yet the standard selectors each carry a cost: self-consistency inherits the errors of the single model it resamples, and trained reward models need labeled data and transfer poorly off-distr...
arXiv: arxiv.org/abs/2607.10139
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
