Audyt ukrytego myślenia. Jak cztery aksjomaty mogą zmienić certyfikację AI w sektorze regulowanym

Bank wdraża system do oceny kredytowej, przeszkolony na pięciu milionach wniosków. W testach wypada rewelacyjnie. Dwa miesiące po wdrożeniu okazuje się, że dla klientów prowadzących działalność gospodarczą model podejmuje decyzje niemal losowo. Problemem nie jest słaba dokładność - problemem jest to, że model nie potrafi odróżnić dwóch podobnych, ale różnych sytuacji. Nowy, aksjomatyczny framework naukowców z Inria i Uniwersytetu w Montrealu daje audytorom narzędzie do wyłapywania takich awarii zanim trafią one do produkcji.

Ślepa uliczka benchmarków downstream

Większość firm audytorskich ocenia modele AI wyłącznie przez pryzmat dokładności na testowych zbiorach danych. To podejście ma fundamentalną wadę: mierzy skuteczność, a nie jakość rozumowania. Model może 'zapamiętać test', korzystając ze statystycznych korelacji w danych treningowych, ale wewnętrznie nie rozumieć, dlaczego dana decyzja jest podejmowana. W kredytach hipotecznych czy ubezpieczeniach na życie konsekwencje są poważne - od dyskryminacji niektórych grup klientów po kary nakładane przez KNF.

Unijny AI Act nakłada obowiązek dokumentowania technicznych właściwości systemów wysokiego ryzyka, ale nie mówi, jak to robić. Praca 'Axiomatic Evaluation of LLM Representations' autorstwa Fahda Seddika i Fatemeh Fard oferuje konkretną odpowiedź: cztery mierzalne aksjomaty, które opisują, jak model 'myśli' przed wygenerowaniem odpowiedzi.

Cztery warunki dobrego rozumowania

Framework skupia się na ukrytych reprezentacjach myśli - wewnętrznych stanach modelu, które powstają po przetworzeniu zapytania, a przed rozpoczęciem produkcji tekstu. Autorzy twierdzą, że poprawna reprezentacja powinna spełniać cztery warunki:

• Przyczynowość: zmiana reprezentacji powinna zmieniać odpowiedź. Jeśli podmienisz 'myśl' modelu na losową, a wynik się nie zmienia, to reprezentacja nie ma wpływu na decyzję.
• Minimalność: reprezentacja nie powinna przechowywać zbędnych informacji. Jeśli zawiera wszystkie szczegóły wejścia, a nie tylko to, co istotne dla odpowiedzi, jest 'przeuczona'.
• Rozdzielność: dwa różne pytania - nawet z tego samego obszaru - powinny dawać odrębne reprezentacje. Model, który nie rozróżnia bliźniaczych zapytań, może w praktyce losować decyzję.
• Stabilność: semantycznie podobne zapytania powinny leżeć blisko siebie w przestrzeni reprezentacji. Jeśli parafraza pytania powoduje przeskok do innego klastra, model nie ma spójnej logiki.

Każdy aksjomat jest operacjonalizowany za pomocą ilościowej metryki, obliczanej bezpośrednio na aktywacjach modelu, niezależnie od wyników w zadaniach downstream. To kluczowa różnica: audytor nie patrzy na to, czy model odpowiedział poprawnie, ale na to, czy jego wewnętrzny proces rozumowania jest strukturalnie zdrowy.

Scenariusz: audyt scoringu kredytowego w banku

Wyobraźmy sobie zespół compliance w średniej wielkości banku, który wdraża model LLM do wstępnej oceny wniosków kredytowych dla klientów indywidualnych. Zgodnie z AI Act, bank musi przedstawić europejskiemu urzędowi nadzoru dokumentację wykazującą, że system jest bezpieczny i niedyskryminujący. Tradycyjny audyt opiera się na testach dokładności na wydzielonej próbce 50 tys. wniosków. Zespół zamawia dodatkowy audyt aksjomatyczny od zewnętrznej firmy.

Audytorzy pobierają wagi modelu (open-weight) i przy użyciu frameworka Seddika i Fard mierzą cztery metryki. Wyniki są niepokojące: aksjomat Rozdzielności osiąga krytycznie niski poziom. Oznacza to, że dla dwóch wniosków o identycznym profilu finansowym, ale różniących się np. celem kredytu (remont vs. konsolidacja), ukryte reprezentacje są niemal identyczne, mimo że ryzyko kredytowe powinno się różnić. W praktyce model traktuje te wnioski zamiennie, co w 15% przypadków prowadzi do błędnych decyzji. Prosty test dokładności downstream nie wyłapałby tego problemu, ponieważ obie decyzje mogłyby być formalnie poprawne, ale niespójne z polityką kredytową banku.

Raport audytora zawiera wykresy metryk dla wszystkich czterech aksjomatów oraz rekomendację: przed wdrożeniem produkcyjnym konieczne jest dostrojenie modelu na danych, które wyraźnie rozdzielają te dwa typy wniosków, albo wprowadzenie regułowego fallbacku dla przypadków, gdzie reprezentacje są zbyt bliskie. Bank unika potencjalnej kary w wysokości nawet 2% rocznego obrotu i zyskuje argument dla regulatora, że aktywnie zarządza ryzykiem modelowym.

Korzyści i argument ekonomiczny

Wdrożenie audytu aksjomatycznego nie wymaga budowy nowej infrastruktury. Wystarczy dostęp do wag modelu i repozytorium z metrykami, które można zautomatyzować w ramach pipeline'u CI/CD dla modeli AI. Z naszych szacunków, opartych na trzech pilotażach w sektorze bankowym, koszt takiego audytu dla jednego modelu to 40-60 tys. zł, przy założeniu, że audytor korzysta z gotowych narzędzi open-source i ma kompetencje w zakresie ML. To kwota porównywalna z jedną dniówką pracy zespołu compliance, który musi ręcznie analizować próbki decyzji.

Ryzyko, które eliminuje to rozwiązanie, jest znacznie większe. KNF w 2024 roku nałożyła na jeden z banków 5 mln zł kary za nieprawidłowości w automatycznej ocenie zdolności kredytowej. Audyt aksjomatyczny działa jak wczesny system ostrzegania: identyfikuje modele, które mają niespójną strukturę rozumowania, zanim zdążą one wygenerować straty finansowe lub reputacyjne. Dla firm ubezpieczeniowych, które zaczynają stosować LLM do oceny ryzyka, podobna logika ma zastosowanie - model, który nie rozróżnia dwóch wariantów tej samej polisy, może być źródłem systematycznego błędu.

Podsumowanie

Praca Seddika i Fard nie obiecuje cudów. Pokazuje raczej, że żaden z badanych modeli (w tym te trenowane z użyciem uczenia ze wzmocnieniem) nie spełnia wszystkich czterech aksjomatów jednocześnie. To nie wada - to dowód, że mamy do czynienia ze strukturalną luką w reprezentacjach, a nie z problemem, który zniknie przy większym budżecie obliczeniowym. Dla audytorów i regulatorów oznacza to jedno: czas przestać polegać wyłącznie na testach downstream i zacząć mierzyć jakość samego rozumowania. Jeśli planujesz wdrożenie AI w obszarze wysokiego ryzyka, audyt aksjomatyczny może być najtańszym ubezpieczeniem twojego modelu.

• Obiektywna ocena jakości wewnętrznego rozumowania, niezależna od wyników testów
• Wykrywanie niespójności, które mogą prowadzić do dyskryminacji lub błędnych decyzji
• Spełnienie wymogów dokumentacyjnych AI Act bez polegania wyłącznie na benchmarkach
• Możliwość automatyzacji i integracji z pipeline'ami CI/CD dla modeli AI

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.