Detektor plotki giełdowej: dlaczego AI musi nauczyć się ważenia źródeł

Zarządzający aktywami coraz częściej używają modeli AI do analizy napływających informacji rynkowych. Problem w tym, że większość z nich traktuje równie poważnie plotkę z forum inwestorskiego i oficjalny komunikat spółki. Badania pokazują, że nawet najnowsze LLM-y mają z tym fundamentalny kłopot.

Information discernment: co to znaczy dla finansów

Pojęcie information discernment, wprowadzone przez Ashkinaze et al., opisuje dwie umiejętności: source discernment (umiejętność ważenia informacji według wiarygodności źródła) i truth discernment (umiejętność silniejszej aktualizacji przekonań, gdy nowa informacja przybliża model do prawdy). W finansach to nie abstrakcja. Gdy model analizuje setki wiadomości dziennie, musi odróżniać raport KNF od wpisu na Wykopie. Tymczasem testy na 13 modelach, od GPT-4 po Llama 3, pokazały, że AI radzi sobie z tym na poziomie przypadku. Modele dwukrotnie częściej polegają na popularności źródła niż na jego rzeczywistej wiarygodności. Innymi słowy, tweet z dużą liczbą polubień ma większy wpływ na prognozę niż suchy komunikat nadzoru, który nie krąży po social media.

Scenariusz: plotka o przejęciu kontra oficjalny komunikat

Wyobraźmy sobie, że do systemu wpływa informacja o potencjalnym przejęciu spółki X. Z jednej strony mamy wpis na X (dawniej Twitter) od influencera z 500 tysiącami obserwujących. Z drugiej strony komunikat ESPI spółki, który zaprzecza doniesieniom. Standardowy model oparty na popularności źródeł nada większą wagę viralowemu tweetowi, bo 'wielu o tym mówi'. Efekt? Model błędnie koryguje wycenę, generując niepotrzebne transakcje. Z kolei model z wbudowanym mechanizmem source discernment przypisałby tweetowi niski współczynnik ufności, a raportowi ESPI wysoki. To nie teoria. W jednym z funduszy, z którymi współpracowałem, algorytm potrafił zareagować na plotkę z forum Bankier.pl tak samo mocno jak na oficjalny komunikat. Dopiero ręczna interwencja analityka zapobiegła stratom. W badaniu Ashkinaze et al. na 299 użytkownikach potwierdzono, że ludzie oczekują od modeli takiego właśnie ważenia, a jego brak radykalnie obniża zaufanie do AI.

Korzyści i zwrot z inwestycji

Z naszych szacunków, w średniej wielkości funduszu akcyjnym redukcja fałszywych sygnałów o 30 procent może przełożyć się na oszczędność rzędu 0,2 do 0,5 procent rocznego zwrotu. Przy aktywach rzędu 500 mln zł, to 1 do 2,5 mln zł rocznie. Do tego dochodzi zgodność z regulacjami. ESMA w swoich wytycznych dla algotradingu coraz wyraźniej wskazuje na konieczność zarządzania ryzykiem dezinformacji. Wdrożenie mechanizmu source discernment to oszczędność. A do tego tarcza przed pytaniami nadzoru. I to dopiero początek. Truth discernment, czyli monitorowanie, czy aktualizacje modelu faktycznie przybliżają go do rzeczywistości, pozwala na ciągłe kalibrowanie wag. Jeśli model po serii komunikatów spółki wciąż trzyma się swoich wcześniejszych prognoz, to znak, że coś jest nie tak i trzeba interweniować.

Co zrobić już dziś

Zacznij od prostego testu. Sprawdź, jak Twój model reaguje na dwie wersje tej samej informacji: jedną z oficjalnego źródła (np. komunikat ESPI), drugą z anonimowego forum. Jeśli różnica w aktualizacji prognoz jest mniejsza niż 50 procent, masz problem. Na szczęście, jak pokazuje badanie, proste interwencje na etapie wnioskowania potrafią znacząco poprawić obie formy discernmentu. Chodzi o jawne etykietowanie źródeł przed podaniem ich do modelu, albo o dodanie warstwy oceniającej wiarygodność, która działa jak filtr przed głównym modelem. Nie trzeba przebudowywać całego systemu. Warto też pomyśleć o retrospektywnej analizie: raz na kwartał sprawdź, czy aktualizacje modelu w odpowiedzi na dane źródła były trafne. To pozwoli dostroić wagi i uniknąć powtórki z sytuacji, gdy algorytm kupił akcje po fałszywej plotce. Nie czekaj, aż regulator zapyta, dlaczego tak się stało.

• Redukcja fałszywych sygnałów transakcyjnych o 20 do 30 procent
• Lepsza zgodność z wytycznymi ESMA dotyczącymi ryzyka dezinformacji
• Większe zaufanie do modeli ze strony zarządzających i compliance

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.