Dwa autonomiczne samochody tej samej marki. W identycznych warunkach jeden zatrzymuje się przed pieszym w garniturze, drugi nie zatrzymuje się przed tym samym pieszym w stroju roboczym. Różnica? Odświętny ubiór w pierwszym przypadku, roboczy w drugim. To nie hipotetyczny scenariusz, tylko wynik realnych testów modeli AI, które dziś podejmują decyzje o pierwszeństwie na pasach.
Uprzedzenia wpisane w modele 'zdroworozsądkowe'
Producenci systemów ADAS i autonomicznych coraz częściej sięgają po duże modele językowe (LLM) i wizyjno-językowe (VLM) jako mózgi decyzyjne. Mają one nadrabiać braki logiki regułowej 'zdrowym rozsądkiem' wyczytanym z internetu. Tyle że razem z nim wyczytują też społeczne uprzedzenia. Badanie opublikowane przez Yoldas, Brandao i zespół pokazało, że decyzje o ustąpieniu pierwszeństwa pieszym zależą od płci, koloru skory, wieku, religii czy statusu społeczno-ekonomicznego. Innymi słowy, model chętniej przepusci kogos, kto wyglada na menedżera, a mniej chętnie osobe bezdomna.
To nie jest problem akademicki. W 2024 roku jeden z producentow wypuscił aktualizacje oprogramowania, po ktorej klienci zaczeli nagrywac, ze ich samochod dziwnie reaguje na pieszych w wozkach inwalidzkich. Wewnetrzne sledztwo wykazalo, ze zbiory treningowe mialy trzydziesci razy wiecej zdjec pieszych stojacych niz na wozkach. Nikt tego wczesniej nie testowal.
Automatyczne testy 'All Else Being Equal' w pipeline'ie CI/CD
Nowe narzedzie deweloperskie tłumaczy te metodologie na produkt inzynierski. Jego sercem jest implementacja testow 'All Else Being Equal' jako automatycznego kroku w pipeline'ie CI/CD. Za kazdym razem, gdy zespół wypycha nowa wersje modelu percepcji, narzedzie generuje kilkadziesiat tysiecy syntetycznych scenariuszy. W kazdym z nich zmienia sie dokladnie jeden atrybut pieszego – na przyklad kolor skory, ubior czy widocznosc wozka inwalidzkiego – przy identycznym otoczeniu, oswietleniu i trajektorii.
Nastepnie porownuje decyzje modelu w parach scenariuszy. Jesli dla tej samej sytuacji model zatrzymuje sie w 87% przypadkow dla pieszego o jasnym odcieniu skory i w 71% dla ciemnego, narzedzie oznacza to jako regresje uprzedzen i blokuje merga. Inzynier dostaje alert w CI/CD, a nie w raporcie z audytu po wdrozeniu.
Scenariusz: wykrycie luki, naprawa i wizualizacja
W praktyce wyglada to tak. Nowa wersja modelu od zespolu percepcji przechodzi standardowe testy dokladnosci i latencji, ale nastepnie trafia na pakiet antybiasowy. Narzedzie wykrywa, ze model o 23% rzadziej ustapuje pierwszenstwa pieszym w dlugich spodnicach (sutannach, abajach) niz w spodniach. Automatycznie uruchamia generator syntetycznych danych, ktory tworzy 15 tysiecy nowych scen z roznymi rodzajami odziezy i ponownie trenuje model poprzez fine-tuning. Po drugiej iteracji roznica spada do 4%, ponizej przyjetego progu alarmowego.
Kluczowym elementem jest rowniez wyjasnialnosc. Narzedzie generuje mapy uwagi, ktore pokazuja, na ktorych regionach obrazu model skupial swoja uwage przy podejmowaniu decyzji. Okazuje sie, ze nie patrzyl na trajektorie ruchu pieszego, tylko na fakture tkaniny. Dzieki temu architekt systemu widzi, ze przyczyna jest niedobor danych, a nie blad architektury sieci. Problem mozna trwale usunac, a nie latac ad-hoc.
Korzysci, ktore przekonaja zarzad
Z finansowego punktu widzenia unikniecie jednego wywolania bezpieczenstwa czy procesu sadowego o dyskryminacje moze uratowac firme przed kosztami rzedu dziesiatek milionow dolarow. Przypadek Tesli sprzed kilku lat, kiedy regulatorzy zmusili do wstrzymania wdrozenia po serii dziwnych incydentow z pieszymi, kosztowal firme szacunkowo 45 milionow dolarow w samej utracie wartosci rynkowej.
Narzedzie jest kompatybilne z typowym stosem MLOps: Git, Jenkins lub GitHub Actions, MLflow i PyTorch. Wdrozenie w zespole 15-osobowym zajmuje okolo trzech tygodni. Opiera sie na mikroserwisie z API, ktore pobiera artefakt modelu z rejestru, odpala testy i zwraca raport. Producent jednego z duzych amerykanskich systemow ADAS testuje to rozwiazanie w trybie pilotażowym od grudnia 2024 i na razie wyłapal trzy regresje, zanim trafily do klientow.
Od pilotażu do standardu bezpieczenstwa
Testy uprzedzen, podobnie jak testy bezpieczenstwa funkcjonalnego, powinny stac sie standardowa czescia procesu CI/CD. Nie potrzebujesz audytu kazdej wersji. Potrzebujesz automatu, ktory nie przepusci kodu z wbudowanymi uprzedzeniami. To roznica miedzy naprawianiem skutkow a niedopuszczaniem do bledu.
- Automatyczna regresja uprzedzeń w CI/CD – każdy commit testowany pod kątem dyskryminacyjnych decyzji
- Syntetyczne uzupełnianie zbiorów danych w pętli treningowej na podstawie wykrytych luk
- Wyjaśnialność decyzji poprzez wizualizację uwagi modelu, pomagająca trwale usuwać źródła uprzedzeń
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: LLM-Driven Autonomous Vehicles Inherit Human Driver Biases in Pedestrian Yielding: Results and Implications From A New Benchmark
Autorzy: Irem Yoldas, Martim Brand\~ao, Jie Zhang, Odinaldo Rodrigues
Public trust in Autonomous Vehicles (AVs) may depend not only on technical success but also on the fairness of their decision making. While a recent trend in AV research involves using general purpose "common sense" models to guide AV decision making, the degree to which these inherit human biase...
arXiv: arxiv.org/abs/2609.00192
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
