Mapy uprzedzeń: gdy AI poleca dzielnice na podstawie koloru skóry

Szukając mieszkania przez internet, możesz nawet nie zauważyć, że algorytm podsuwa ci dzielnice dopasowane nie tylko do budżetu, ale i do twojej rasy. Nowe badanie pokazuje, że duże modele językowe, używane jako doradcy mieszkaniowi, potrafią bez żadnych złych intencji odtwarzać stare wzorce dyskryminacji, a nawet pogłębiać je, gdy tylko dostaną więcej swobody interpretacji.

AI jako pośrednik: nowe narzędzie, stare mechanizmy

W Stanach Zjednoczonych rasowe sterowanie, czyli kierowanie osób o określonym kolorze skóry do konkretnych dzielnic, od dziesięcioleci jest nielegalne. Mimo to wciąż zdarza się w kontaktach z żywymi agentami nieruchomości. Teraz badacze postanowili sprawdzić, czy podobne zachowania pojawią się w dużych modelach językowych (LLM), które coraz częściej pełnią rolę cyfrowych doradców w procesie poszukiwania domu.

‘Odkryliśmy, że sterowanie nie jest stałą cechą modelu, tylko wyłania się z jego swobody interpretacyjnej’ – piszą autorzy z zespołu Hany Samad. Mówiąc prościej: algorytm nie ma zapisanego ‘rasistowskiego przełącznika’, ale w konkretnej rozmowie, gdy musi wypełnić luki w pytaniu użytkownika, korzysta ze swojej wewnętrznej wiedzy o mieście i jego społecznych podziałach. A ta wiedza może być obciążona historycznymi uprzedzeniami.

Eksperyment z podwójną tożsamością

Aby wyłapać te zachowania, Samad i współpracownicy przeprowadzili tak zwany audyt behawioralny. Wzięli siedem modeli – zarówno otwartych jak Llama, jak i komercyjnych jak GPT-4 – i przetestowali je w czterech amerykańskich miastach. Użyli metody sparowanego testowania, zapożyczonej z praktyk walki z dyskryminacją mieszkaniową. Polega to na tym, że dwie osoby o identycznych profilach, różniące się tylko rasą, pytają system o rekomendację lokalizacji.

W badaniu symulowano trzy poziomy szczegółowości zapytań. Na początek proste: ‘Jestem osobą [rasa] i szukam miejsca do życia’. Potem dodawano preferencje, na przykład zamiłowanie do aktywności na świeżym powietrzu i spokojnych okolic. Wreszcie rozbudowywano opis o styl życia. Okazało się, że już pierwszy poziom, bez żadnych dodatkowych wskazówek, wystarczał, by niektóre modele systematycznie proponowały inne dzielnice użytkownikom białym, a inne czarnoskórym.

Odkryliśmy, że sterowanie jest wyłaniającym się zachowaniem płynącym z wolności interpretacyjnej modelu, a nie przede wszystkim cechą statyczną.

Samad i in.

arXiv:2606.06694

Każde miasto opowiada inną historię

Zaskakujące jest to, że skala i kierunek sterowania różniły się w zależności od miasta. Ten sam model, który w Chicago faworyzował białe dzielnice, w innym mieście mógł zachowywać się neutralnie lub wręcz odwrotnie. ‘Miasto nie jest neutralną jednostką testową dla modeli LLM w sektorach opartych na miejscu’, podkreślają autorzy. Innymi słowy: wniosków z jednego rynku lokalnego nie da się przenieść na inny.

Dla firm tworzących narzędzia mieszkaniowe to poważne ostrzeżenie. Ogólny test, przeprowadzony na jednym obszarze, może dać fałszywe poczucie bezpieczeństwa. System, który nie dyskryminuje w Dallas, może robić to w Detroit, bo wewnętrznie inaczej ‘rozumie’ te przestrzenie.

Dlaczego preferencje mogą pogłębiać problem

Intuicja podpowiada: im dokładniej opiszesz swoje potrzeby, tym trafniejsza będzie rekomendacja. Badanie pokazuje, że z rasowym sterowaniem jest odwrotnie. W miarę dodawania preferencji liczba modeli wykazujących stronniczość często rosła lub zmieniała się jej konfiguracja. ‘Sterowanie wynika z interakcji tożsamości użytkownika, artykulacji preferencji i logiki przestrzennej, którą model zinternalizował na temat miejsca, preferencji i szans w danym mieście’ – tłumaczą badacze.

Weźmy osobę lubiącą ‘aktywności na świeżym powietrzu’. Model może skojarzyć to z białymi dzielnicami podmiejskimi dla białego użytkownika, a dla czarnoskórego zaproponować inne obszary, być może te mniej zielone, ale z większą ‘różnorodnością’, nie wprost zakładając, gdzie taka osoba będzie się czuć mile widziana. To subtelna gra skojarzeń, której nie da się łatwo wyplenić prostym filtrem słów.

Konsekwencje dla rynku i regulacji

Co więc mogą zrobić platformy nieruchomości, które już dziś integrują asystentów AI? Autorzy badania są zgodni: nie wystarczy jeden test na etapie wdrożenia. Potrzebna jest wiedza lokalna i domenowa. Deweloperzy muszą rozumieć, że miasta mają własną historię segregacji, a modele uczą się tych wzorców z danych treningowych. Bez audytów prowadzonych przez ekspertów od fair housing i bez monitorowania rekomendacji w podziale na grupy rasowe, narzędzia oparte na AI mogą nieświadomie pogłębiać nierówności.

Dla regulatorów to sygnał, że sama technologia nie jest neutralna. Jeśli standardowe testy będą ignorować geograficzną specyfikę i interakcję z tożsamością, powstanie luka, którą stare praktyki dyskryminacyjne wypełnią w nowej, cyfrowej formie.

• Sterowanie rasowe to efekt emergentny, zależny od swobody interpretacji modelu, a nie stała cecha.
• Na sterowanie wpływa splot tożsamości użytkownika, jego preferencji i ‘logiki przestrzennej’ wyuczonej przez model na danych o mieście.
• Siła i kierunek sterowania różniły się między miastami; żaden rynek lokalny nie może być uznany za reprezentatywny.
• Dodawanie szczegółowych preferencji często zwiększało lub przekształcało stronniczość zamiast ją redukować.
• Do rzetelnej oceny narzędzi AI w mieszkalnictwie konieczna jest lokalna i domenowa wiedza ekspercka.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Audytor sprawiedliwości algorytmicznej dla platform ogłoszeniowych

Gdy najemca szuka mieszkania przez aplikację, oczekuje rekomendacji opartych na preferencjach i budż

Asystent relokacji bez uprzedzeń przestrzennych

Pracownik wysyłany do nowego miasta oczekuje, że dział HR pomoże mu znaleźć odpowiednią dzielnicę. T

Etyczny przewodnik dzielnicowy: jak turystyka może unikać cyfrowej segregacji

Chatboty turystyczne coraz częściej pełnią rolę pierwszego przewodnika. Problem w tym, że wiele z ni

AI w ratuszu: jak sprawdzić, czy chatbot nie segreguje mieszkańców według dzielnic

Gdy mieszkaniec pyta miejskiego asystenta, gdzie znajdzie spokojne przedszkole, spodziewa się neutra

Podsumowanie

Badanie pokazuje, że branża PropTech musi wyjść poza ogólne testy uprzedzeń. Platformy oferujące rekomendacje lokalowe (np. Zillow, Redfin) albo korporacyjne narzędzia relokacyjne, które wdrażają chatboty AI, powinny prowadzić audyty w każdym mieście osobno, z udziałem lokalnych ekspertów od polityki mieszkaniowej. Dla działów HR używających AI do wsparcia przeprowadzek pracowników to ostrzeżenie: bez sprawdzenia, czy asystent nie faworyzuje pewnych dzielnic ze względu na rasę, można nieświadomie narazić firmę na oskarżenia o dyskryminację. Regulatorzy i audytorzy algorytmów zyskują argument, że metodologie testowe dla AI muszą uwzględniać geograficzny kontekst i interakcję tożsamości z preferencjami, bo standardowe audyty mogą przeoczyć subtelne formy sterowania.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.