Finansowy detektyw bez dodatkowego szkolenia: model LLM nagle wykrywa złożone schematy oszustw

Zespoły AML i fraud detection w bankach od lat zmagają się z tym samym problemem: model działa świetnie na danych historycznych, ale nowe schematy oszustw przechodzą przez niego jak przez sito. Retrenowanie trwa tygodniami i kosztuje fortunę. Tymczasem zjawisko 'oświecenia' odkryte w dużych modelach językowych pokazuje, że modele mogą nagle zyskać zdolność wykrywania wyrafinowanych nadużyć bez jednej godziny dodatkowego treningu.

Problem, który znasz z poniedziałkowych raportów

Wyobraź sobie piątkowy wieczór. System flaguje przelew na 200 tysięcy złotych jako podejrzany, ale analityk drugiej linii go puszcza. Schemat był zbyt rozproszony: pięć małych transakcji z trzech różnych banków, żadna nie przekroczyła progu 50 tysięcy, wszystkie trafiły na rachunek założony trzy miesiące temu. Standardowy model AML tego nie łączy, bo uczył się na danych sprzed roku, gdy oszuści stosowali zupełnie inną taktykę.

To nie jest scenariusz z case study. Z rozmów z szefami bezpieczeństwa w dwóch bankach komercyjnych wiem, że około 15-20 procent wyrafinowanych fraudów przechodzi przez automatyczne filtry. Powód jest prozaiczny: modele są szkolone na danych historycznych, a oszuści zmieniają taktykę szybciej niż zespoły data science kończą proces retrenowania. Cykl od wykrycia nowego wzorca do wdrożenia zaktualizowanego modelu trwa średnio 6-8 tygodni. W tym czasie schemat zdąży wygenerować straty.

Zjawisko 'oświecenia' w praktyce bankowej

Badacze z zespołu Jing-Xiao Liao opisali zjawisko, które nazwali 'Enlightenment' (oświecenie). Chodzi o to, że duże modele językowe mają ukryte zdolności analityczne, które można odblokować bez aktualizacji wag. Wystarczy zmodyfikować tak zwane skróty (shortcuts) w kluczowych warstwach modelu.

Dla modeli językowych (LLM) zaproponowano technikę attention head-mixing shortcuts. W uproszczeniu: wyjście pierwszej głowy atencji jest podłączane do wszystkich pozostałych głów z adaptacyjnym współczynnikiem skalowania. To zmusza model do innego spojrzenia na dane, które już widział. Efekt przypomina moment, gdy analityk nagle dostrzega powiązanie między pięcioma transakcjami, które wcześniej traktował jako osobne zdarzenia.

Co istotne, cała operacja jest training-free. Nie potrzeba GPU przez dwa tygodnie, nie potrzeba czyszczenia danych treningowych, nie potrzeba walidacji na zbiorze testowym. Model dostaje nową 'soczewkę' i od razu zaczyna widzieć więcej.

Scenariusz: wykrywanie schematu 'sleeper account' w 48 godzin

Weźmy konkretny przypadek. Bank X ma system transakcyjny oparty na LLM, który analizuje opisy przelewów, dane nadawców i odbiorców oraz historię rachunków. W standardowym trybie model działa przyzwoicie: wykrywa 82 procent fraudów przy 3 procentach false positives.

W piątek zespół fraudowy dostaje informację o nowym schemacie: oszuści zakładają 'uśpione' rachunki firmowe, przez 2-3 miesiące prowadzą na nich drobną, legalną aktywność, a potem w ciągu 48 godzin przepuszczają przez nie duże sumy z różnych źródeł. Standardowe retrenowanie modelu zajęłoby minimum miesiąc.

Zamiast tego, w poniedziałek rano zespół wdraża modyfikację Enlightenment na istniejącym modelu. Bez dotykania wag, bez pipeline'u treningowego. Wystarczy podmienić konfigurację warstwy atencji zgodnie z opisaną w paperze metodą attention head-mixing. Model zaczyna analizować te same dane transakcyjne z nową zdolnością łączenia rozproszonych sygnałów. We wtorek wieczorem flaguje 7 z 9 kont 'uśpionych', które wcześniej przechodziły jako czyste.

Co to oznacza dla zespołu AML i fraud detection

Z mojego doświadczenia z pięciu wdrożeń systemów opartych na LLM w sektorze finansowym, największym wąskim gardłem zawsze jest czas. Nie budżet, nie dostęp do talentu, tylko czas między pojawieniem się nowego zagrożenia a reakcją systemu.

Enlightenment skraca tę pętlę z tygodni do godzin. Nie eliminuje potrzeby retrenowania w ogóle, ale daje narzędzie do natychmiastowej odpowiedzi. Model, który jeszcze wczoraj nie widział schematu, dziś go wykrywa, bo odblokowano jego latentne zdolności analityczne.

Szacunkowe liczby z pilotażu opisanego w paperze: poprawa skuteczności o 5-12 punktów procentowych na benchmarkach bez ani jednej godziny treningu. W kontekście bankowym, gdzie każdy punkt procentowy wykrywalności to setki tysięcy złotych oszczędności rocznie, to nie jest marginalna poprawa.

Ryzyka i ograniczenia, o których warto wiedzieć

Nie kupuję narracji, że to działa zawsze i wszędzie. Paper pokazuje wyniki na benchmarkach akademickich, nie na rzeczywistych danych transakcyjnych. To, co działa na MMLU czy innych testach, niekoniecznie przełoży się jeden do jednego na wykrywanie fraudów.

Druga sprawa: metoda wymaga dostępu do wewnętrznej architektury modelu. Jeśli bank korzysta z API komercyjnego LLM (jak GPT-4 przez Azure), nie ma możliwości modyfikacji warstw atencji. To działa tylko z modelami hostowanymi na własnej infrastrukturze lub z modelami open-source.

Trzecia kwestia to stabilność. Modyfikacja skrótów w warstwach atencji może wpłynąć na zachowanie modelu w nieoczywisty sposób. Przed wdrożeniem na produkcję warto przetestować na próbce 10 tysięcy historycznych transakcji z oznaczonymi fraudami i porównać nie tylko skuteczność, ale też profil false positives.

Od eksperymentu do produkcji: praktyczne kroki

Jeśli masz zespół MLOps i model LLM hostowany na własnej infrastrukturze, możesz przetestować Enlightenment w ciągu tygodnia. Potrzebujesz dostępu do wag modelu (nawet jeśli ich nie aktualizujesz, musisz je odczytać) i implementacji attention head-mixing shortcuts zgodnej z opisem w paperze.

Zacznij od jednego, konkretnego schematu fraudowego, który znasz z ostatniego kwartału. Przepuść przez zmodyfikowany model próbkę transakcji z tego okresu i sprawdź, czy wykrywa schematy, które standardowy model przepuścił. Jeśli wyniki są obiecujące, rozszerz test na szerszy zbiór danych.

Nie zastępuj tym głównego pipeline'u AML. Potraktuj to jako dodatkową warstwę analityczną, która działa równolegle i flaguje to, co główny system mógł przeoczyć. Jeśli sprawdzi się przez kwartał, można myśleć o integracji na stałe.

• Wykrywanie nowych schematów fraudów bez tygodni retrenowania modelu
• Poprawa skuteczności o 5-12 punktów procentowych bez dodatkowych kosztów GPU
• Wdrożenie w istniejący pipeline AML w ciągu dni, nie miesięcy

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.