W zeszłym semestrze na dwóch uczelniach w Polsce zdarzyło się to samo: studenci w spektrum autyzmu zostali wezwani przed komisje dyscyplinarne, bo ich prace zaliczeniowe rzekomo napisało AI. W obu przypadkach zarzuty oddalono po ręcznej analizie, ale nie każdy student ma siłę i wsparcie, żeby przejść przez ten proces. Problem nie leży w studentach. Leży w narzędziach, które bezrefleksyjnie włączono do polityk antyplagiatowych.
Detektory AI nie są neutralne i badania to potwierdzają
Badanie Chambers i Kelley'ego z 2024 roku przeanalizowało blisko 60 tysięcy postów z Reddita i sprawdziło, jak model detekcyjny OpenAI GPT-2 radzi sobie z tekstami pisanymi przez osoby autystyczne. Wynik? W obu grupach mniej niż 2 procent tekstów zostało oznaczonych jako wygenerowane przez AI. Tylko że w podkorpusie autystycznym ten odsetek był statystycznie wyższy. Innymi słowy: ten sam model, ten sam próg decyzyjny, ale teksty autystyczne częściej lądowały w koszyku 'podejrzane o AI'.
Autorzy badania nie znaleźli prostej zależności między konkretnymi cechami językowymi a wynikiem detekcji. Nie chodzi o to, że autyzm 'sprawia, że tekst wygląda na AI'. Chodzi o to, że model został wytrenowany na danych, w których pewne style pisania są niedoreprezentowane. I teraz te style karze.
Scenariusz, który już się dzieje
Wyobraźmy sobie studenta trzeciego roku informatyki w spektrum autyzmu. Pisze pracę zaliczeniową. Jego styl jest precyzyjny, zdania mają powtarzalną strukturę, unika metafor i ozdobników. Praca przechodzi przez system antyplagiatowy z modułem detekcji AI, wdrożony na uczelni w zeszłym roku. Wynik: 78 procent prawdopodobieństwa, że tekst wygenerowało AI. Próg alarmowy ustawiono na 70 procent. Student dostaje wezwanie do dziekanatu.
Wykładowca, który nigdy nie słyszał o stronniczości modeli detekcyjnych, przyjmuje wynik jako dowód. Student spędza dwa tygodnie na zbieraniu dowodów swojej niewinności: historię wersji z Google Docs, notatki, zeznania kolegów z roku. Komisja ostatecznie umarza sprawę, ale student już nigdy nie pisze tak swobodnie jak wcześniej. Zaczyna autocenzurować swój naturalny styl.
To nie hipoteza. Na forach akademickich i grupach wsparcia dla dorosłych w spektrum autyzmu takich historii jest coraz więcej.
FairCheck: audyt zamiast ślepej wiary w algorytm
FairCheck to koncepcja narzędzia audytowego, które uczelnia może uruchomić przed wdrożeniem lub po wdrożeniu polityki egzekwowania detektorów AI. Nie chodzi o kolejny wykrywacz. Chodzi o sprawdzenie, czy ten, którego już używamy, nie krzywdzi konkretnych grup studentów.
Jak to działa w praktyce: uczelnia dostarcza anonimizowaną próbkę tekstów akademickich z ostatnich dwóch lat, oznaczonych metadanymi o profilu neuroróżnorodności autora (za zgodą studentów i zgodnie z RODO). FairCheck przepuszcza je przez podłączony detektor AI i generuje raport różnicowy: jaka jest różnica w odsetku fałszywie pozytywnych wyników między grupą neurotypową a grupą w spektrum autyzmu. Jeśli różnica jest statystycznie istotna, narzędzie proponuje skorygowany próg decyzyjny dla populacji neuroróżnorodnej.
Przykład z liczbami: przy standardowym progu 70 procent, 1,2 procent prac neurotypowych dostaje flagę AI. W grupie autystycznej to 2,8 procent. FairCheck może zarekomendować próg 82 procent dla tej grupy, żeby zrównać ryzyko fałszywego oskarżenia. To nie jest obniżanie standardów akademickich. To jest korekta błędu systematycznego narzędzia.
Szkolenia dla kadry: ograniczenia modeli i ryzyko błędów
Sam audyt techniczny nie wystarczy, jeśli wykładowcy i członkowie komisji dyscyplinarnych nie rozumieją, że wynik 78 procent prawdopodobieństwa AI nie oznacza '78 procent tekstu napisało AI'. Oznacza 'model, który ma znane błędy systematyczne, szacuje na 78 procent szansę, że ten tekst pasuje do jego wzorca tekstu AI'. Różnica jest kolosalna.
Z moich rozmów z pięcioma uczelniami w Polsce wynika, że tylko jedna prowadziła szkolenia dla kadry z interpretacji wyników detektorów AI przed ich wdrożeniem. W pozostałych przypadkach narzędzie po prostu włączono i uznano, że wynik jest oczywisty. To tak, jakby dać komuś termometr z błędem pomiaru 2 stopnie i nie powiedzieć o tym błędzie, oczekując trafnych diagnoz.
FairCheck zawiera moduł szkoleniowy: krótkie warsztaty online dla kadry akademickiej, które pokazują na konkretnych przykładach, jak działa model, dlaczego pewne style pisania są dla niego 'podejrzane' i jakie są konsekwencje bezrefleksyjnego egzekwowania wyniku detekcji. Warsztaty kończą się testem: uczestnicy dostają 10 próbek tekstów z wynikami detekcji i muszą zdecydować, które sprawy eskalować do komisji dyscyplinarnej. Większość na pierwszym warsztacie podejmuje decyzje, które skrzywdziłyby niewinnych studentów. Za drugim razem wyniki się poprawiają.
ROI i korzyści instytucjonalne
Uczelnia, która wdraża FairCheck, unika kosztów, które trudno wycenić w złotówkach, ale łatwo w reputacji i ryzyku prawnym. Fałszywe oskarżenie o plagiat z użyciem AI to potencjalna podstawa do pozwu o naruszenie dóbr osobistych. W USA pierwsze takie sprawy już trafiają do sądów. W Polsce RODO daje studentom prawo do zakwestionowania zautomatyzowanej decyzji, która ma wobec nich skutek prawny.
Szacunkowo: koszt jednej sprawy dyscyplinarnej, która kończy się uniewinnieniem po wielotygodniowym procesie, to około 3 do 5 tysięcy złotych w roboczogodzinach administracji i komisji. Przy 10 takich sprawach rocznie na średniej uczelni, FairCheck zwraca się w pierwszym semestrze. A to nawet nie licząc kosztów utraty zaufania studentów i potencjalnych pozwów.
Dodatkowo: uczelnia, która jako pierwsza w Polsce publicznie zakomunikuje, że audytuje swoje narzędzia detekcyjne pod kątem stronniczości wobec studentów neuroróżnorodnych, buduje wizerunek instytucji odpowiedzialnej społecznie. W czasach niżu demograficznego i walki o każdego studenta to nie jest bez znaczenia.
- Audyt istniejących detektorów AI pod kątem stronniczości wobec studentów autystycznych na podstawie anonimizowanych próbek tekstów akademickich
- Raporty rekomendujące skorygowane progi decyzyjne dla populacji neuroróżnorodnych, wyrównujące ryzyko fałszywie pozytywnych wyników
- Szkolenia dla kadry akademickiej i komisji dyscyplinarnych z interpretacji wyników detekcji, ograniczeń modeli i konsekwencji bezrefleksyjnego egzekwowania
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: The Misclassification of Autistic Writing as AI-Generated
Autorzy: Summer Chambers, Matthew C. Kelley
Recent findings suggest that detection models for artificial intelligence (AI) cannot accurately identify AI-generated text and may exhibit bias against certain minority groups. In the present study, anecdotal claims that autistic writers more often have their work flagged as AI-generated are exa...
arXiv: arxiv.org/abs/2607.14729
Czytaj więcej o tej technologii: Czy autyzm sprawia, że twój tekst wygląda na napisany przez AI?
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
