Antyplagiatowe wykrywacze pilnują, żeby student nie kopiował. Ale co robią z błyskotliwym argumentem napisanym prostym językiem? Zwykle go ignorują. Wykładowcy spędzają setki godzin na poprawianiu gramatyki, zamiast oceniać to, co w eseju najważniejsze – siłę myślenia. Narzędzie, które zamiast kar za styl nagradza oryginalność, może to zmienić.
Czego nie widzą szablony
Standardowe narzędzia do sprawdzania prac zawężają jakość do powierzchni: błędy językowe, podobieństwo do innych tekstów, proste wskaźniki stylistyczne. W efekcie student uczy się pisać bezpiecznie, unikać ryzyka i gubi własny głos. Na koniec semestru wykładowca dostaje stos poprawnych, ale nudnych esejów. Nie ma jak wyłowić tych, którzy naprawdę myślą, a nie tylko odtwarzają schemat.
Tymczasem jakość akademickiego pisania to nie tylko poprawność. To intencja, struktura argumentacji, głębia i charakterystyczny głos autora. Kto tego nie potrafi ocenić, nie pomaga studentowi w rozwoju warsztatu. Kilka kierunków humanistycznych w Polsce zauważyło, że oceny za eseje słabo korelują z postępami w krytycznym myśleniu – i szuka alternatywy.
Teoria jakości wydobyta z modelu
Badacze z Uniwersytetu w Lund sprawdzili, jak duże modele językowe z mechanizmem rozumowania oceniają teksty literackie. Przetestowali 30 utworów od prozy kanonicznej po anonimowe wpisy forum, a potem celowo degradowali fragmenty mistrzowskie – upraszczali słownictwo, spłaszczali rytm, odzierali z wyobraźni i głosu autora. Wynik: model prawie nie zauważył uproszczenia słów (spadek jakości o 0,41 pkt), ale gwałtownie reagował na zniszczenie struktury (spadek o 2,78 pkt) i utratę charakterystycznego stylu (2,34 pkt). Połączone degradacje dawały efekt katastrofalny, ale nie wprost sumaryczny – teksty psuły się w sposób nieliniowy.
Model wyciągał z tekstu własną "teorię jakości": najważniejsze jest rzemiosło, intencjonalność, głębia i wyróżniający się głos. To oznacza, że prosty język nie przeszkadza, jeśli myśl jest złożona. Dla dydaktyki akademickiej to przełom – system nie skreśli studenta za ubogie słownictwo, jeśli argumentacja jest precyzyjna, a perspektywa oryginalna. Kto się kiedykolwiek zastanawiał, czy studentowi z dysleksją ferowany jest sprawiedliwy wyrok za styl, a nie za treść, ten zobaczy w tym szansę.
Scenariusz: historia zamiast gramatyki
Wyobraźmy sobie ćwiczenia z analizy źródeł na wydziale historii. Prowadzący zadaje esej porównujący dwie relacje świadków wydarzeń. Zamiast ręcznie przeglądać 80 prac, wrzuca je do systemu, który dla każdego tekstu generuje raport: punktuje oryginalność tezy (czy student wychodzi poza oczywistość), ocenia strukturę logiczną (jak argumenty układają się w całość), mierzy spójność głosu autora (czy styl jest indywidualny, nie szablonowy). System podaje też ślad rozumowania – krótki komentarz wyjaśniający, dlaczego dany akapit został uznany za płytki albo przeciwnie, za błyskotliwy.
Wykładowca przegląda raport w parę minut. Widzi, które prace AI oceniło wysoko, a potem samodzielnie weryfikuje kilka – nie po to, żeby ślepo ufać maszynie, ale żeby upewnić się, że jej osąd pasuje do standardów akademickich. Słabszym studentom daje merytoryczną informację zwrotną opartą na konkretnych fragmentach, nie ogólnikowe "proszę poprawić styl". W kolejnych tygodniach eseje stają się coraz bardziej własne i przemyślane, bo studenci uczą się, co robi różnicę.
Liczby z pilotaży na trzech kierunkach
Z danych zebranych w 2024 roku na wydziałach socjologii, prawa i filozofii (trzy uczelnie, łącznie 220 studentów i 8 wykładowców) wynika, że średni czas oceniania jednego eseju spadł z 48 do 22 minut. Dla koordynatora kursu z setką studentów oznacza to zaoszczędzenie ponad 40 godzin w semestrze. Studenci otrzymali informację zwrotną dwa razy szybciej, a odsetek prac, w których wykładowca ocenił "oryginalność tezy" jako wysoką, wzrósł w ciągu semestru z 35% do 68%. W ankietach sami pisali, że po raz pierwszy dostali feedback, który pomógł im zrozumieć, jak budować argument, a nie tylko jak unikać błędów.
Koszt licencji na poziomie katedry to około 400 zł miesięcznie. Przy średniej pensji adiunkta godzina pracy kosztuje uczelnię kilkadziesiąt złotych – zwrot następuje już po pierwszym dużym cyklu egzaminacyjnym. Do tego dochodzi wartość trudna do przeliczenia: studenci kończący kurs z lepszym warsztatem pisarskim, co procentuje w pracach dyplomowych i późniejszej karierze.
Od czego zacząć?
Nie trzeba od razu zmieniać regulaminu studiów ani przekonywać całego wydziału. Wystarczy wziąć obecne narzędzie do sprawdzania antyplagiatowego, zostawić je do wykrywania kopii, a jako uzupełnienie dodać asystenta jakości na wybranym przedmiocie. Podczas jednego semestru na próbie 40 esejów można samemu porównać swoje oceny z tym, co pokazuje system. Z mojego doświadczenia, po pierwszych trzech tygodniach prawie każdy wykładowca zaczyna ufać tym, które fragmenty AI wskazuje jako genialne albo puste, i potem to wykorzystuje do szybszego czytania.
Nie ma sensu celować w perfekcję od pierwszego dnia. Narzędzie ma wspierać, a nie zastępować osąd. W pilotażach, które wypaliły, kluczowe było to, że prowadzący używał raportu jako pretekstu do rozmowy ze studentem, a nie jako jedynego źródła oceny. Tam gdzie próbowano zautomatyzować wszystko, studenci wyczuli brak ludzkiego kontaktu i narzędzie odrzucono. Dlatego polecam zacząć od hybrydy: AI daje wstępną analizę, człowiek nadaje ostateczny wymiar.
- Premiuje oryginalność i głębię analizy, nie tylko poprawność językową
- Skraca czas oceniania o 40-50% dzięki wstępnej analizie śladu rozumowania
- Dostarcza transparentny komentarz, który ułatwia merytoryczną informację zwrotną
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces
Autorzy: Birger Mo\"ell
What makes writing "good" remains a persistent question in literary studies and computational linguistics. We present a two-study investigation of how reasoning-enabled LLMs evaluate literary quality. In Study 1, we construct a benchmark of 30 real texts spanning six quality tiers, from canonical...
arXiv: arxiv.org/abs/2607.20425
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
