Paradoks detektorów AI: uczciwa edycja karana, oszustwo nagradzane

Nowe badanie pokazuje, że narzędzia do wykrywania tekstu AI na uczelniach działają dokładnie odwrotnie, niż byśmy chcieli. Lekka, dozwolona edycja tekstu przez AI jest oznaczana jako oszustwo w 64–80% przypadków, podczas gdy celowe ukrywanie autorstwa AI za pomocą humanizerów pozostaje niemal całkowicie niewykryte. Uczciwi studenci ryzykują więcej niż ci, którzy świadomie oszukują.

Jak działa (i nie działa) detektor AI

Wyobraźmy sobie bramkarza w klubie, który wpuszcza każdego, kto ma podrobiony dowód, ale wyprasza gościa z lekkim akcentem. Tak właśnie zachowują się komercyjne detektory AI, gdy analizują prace studentów. Autorzy badania z Uniwersytetu Notre Dame postanowili to sprawdzić w kontrolowanym eksperymencie.

Wzięli prawdziwe abstrakty naukowe z dwóch okresów: sprzed ery dużych modeli językowych (2013-2015) i z lat 2023-2025, gdy studenci masowo sięgają po narzędzia pokroju ChatGPT. Następnie część tekstów delikatnie poprawili za pomocą LLM, tak, jak zrobiłby to student, który zgodnie z regulaminem prosi AI o wygładzenie stylu. Inną część przepuścili przez humanizer, czyli narzędzie do ukrywania śladów AI. Potem wszystko wrzucili do dwóch popularnych detektorów: Pangram i GPTZero.

Wynik? Abstrakty po lekkiej edycji AI zostały uznane za 'napisane przez AI' w 64-80% przypadków. Tymczasem te, które celowo zamaskowano, przeszły niezauważone, wykryto mniej niż 4% z nich. Bramkarz nie łapie oszustów, a karze tych, którzy grają fair.

Dlaczego detektory mylą edycję z oszustwem?

Detektory nie rozumieją intencji autora. Oceniają tekst na podstawie powierzchownych cech językowych, takich jak długość tokenów czy częstość występowania słów z Akademickiej Listy Słów (AWL) – zbioru terminów typowych dla naukowego żargonu. Im bardziej formalny i 'akademicki' styl, tym wyższy wynik AI. Paradoksalnie, to właśnie ci studenci, którzy piszą poprawnie i zgodnie z konwencją, są częściej podejrzewani o oszustwo.

'Podwyższone wyniki śledzą gęstość długich tokenów i słów z Akademickiej Listy Słów, a nie samą intencję autorstwa' – piszą autorzy. W praktyce oznacza to, że praca z dziedziny humanistyki, pełna specjalistycznego słownictwa, ma większe szanse zostać oznaczona jako AI niż tekst z nauk ścisłych. Badanie wykazało, że odsetek fałszywych alarmów dla dziedzin non-STEM był znacząco wyższy niż dla STEM. To nie tylko błąd techniczny, ale też potencjalna niesprawiedliwość – system karze za styl, nie za czyn.

Uczciwa edycja AI niesie ze sobą większe ryzyko sankcji niż celowe ukrywanie autorstwa AI za pomocą humanizerów.

Jonathan A. Karr Jr, Grigorii Khvatskii, Ting Hua, Nitesh V. Chawla

arXiv:2608.11256

Humanizery: jak oszukać system w kilka sekund

Jeśli detektory są bramkarzem, to humanizery są fałszywym dowodem, który przechodzi każdą kontrolę. Narzędzia takie jak Undetectable AI przepisują tekst, zachowując jego sens, ale zmieniając strukturę zdań i słownictwo tak, by zmylić algorytm. W eksperymencie po zastosowaniu humanizera wskaźnik fałszywie negatywnych wyników (FNR) przekroczył 96%. Innymi słowy, prawie żaden zamaskowany tekst nie został wykryty.

'Uczciwa edycja AI niesie ze sobą większe ryzyko sankcji niż celowe ukrywanie autorstwa AI za pomocą humanizerów' – konkludują badacze. To stawia uczelnie w absurdalnej sytuacji: student, który poprosił AI o korektę przecinków, może stanąć przed komisją dyscyplinarną, podczas gdy kolega, który wygenerował całą pracę i przepuścił ją przez humanizer, prawdopodobnie nie wzbudzi niczyich podejrzeń.

Co to oznacza dla uczelni i studentów?

Wyniki tego badania to poważny sygnał dla instytucji akademickich. Jeśli detektor nie odróżnia edycji od generowania, to używanie go jako jedynego dowodu na plagiat jest po prostu niebezpieczne. Fałszywe oskarżenie może zniszczyć reputację studenta, a prawdziwy oszust przejdzie suchą stopą. Niektórzy wykładowcy już teraz przyznają, że wolą oceniać proces powstawania pracy, notatki, szkice, rozmowy, zamiast polegać na czarnych skrzynkach od firm trzecich.

Badanie pokazuje, że problem narasta. Oryginalne abstrakty z lat 2023-2025 były częściej flagowane niż te sprzed dekady, nawet gdy nie były edytowane przez AI. Być może styl pisania studentów ewoluuje pod wpływem narzędzi i to samo w sobie podnosi alarm. Jeśli tak, to detektory będą stawać się coraz mniej wiarygodne, a granica między 'ludzkim' a 'sztucznym' tekstem będzie się zacierać.

• Lekka edycja AI (zgodna z wytycznymi) jest oznaczana jako tekst AI w 64-80% przypadków.

• Oryginalne abstrakty sprzed ery LLM są fałszywie flagowane w 9-15%, z wyższym odsetkiem w naukach humanistycznych.

• Po zastosowaniu humanizera, mniej niż 4% tekstów jest wykrywanych jako AI.

• Detektory opierają się na cechach językowych, a nie na intencji autorstwa.

Praktyczne zastosowania

Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:

Koniec ery detektorów: nowe podejście do rzetelności akademickiej

Uczelnie wciąż opierają postępowania dyscyplinarne na wynikach komercyjnych detektorów AI, choć bada

Fałszywe alarmy w redakcji: Jak nie skrzywdzić autora przez wadliwy detektor AI

W zeszłym roku jedno z większych wydawnictw w Polsce odrzuciło debiut, który potem okazał się bestse

Humanizery jako broń: ślepa plamka w twoim systemie bezpieczeństwa

Dział bezpieczeństwa wdraża filtr antyspamowy, który ma wyłapywać phishingowe maile generowane przez

Detektor AI w sądzie: dlaczego nie może być jedynym dowodem

Kancelarie coraz częściej traktują raporty z detektorów AI jak dowód rozstrzygający w sprawach o pla

Podsumowanie

Uczelnie nie powinny traktować wyników detektorów AI jako jedynego dowodu na plagiat. Zamiast tego warto skupić się na procesie pisania, a nie na końcowym tekście. W biznesie ed-tech narzędzia do wykrywania AI mogą wymagać przemyślenia, aby nie karać legalnego użycia asystentów pisania.

Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.