Każdy student zna to uczucie: oddałeś pracę, a ocena wydaje się zależeć bardziej od tego, kto sprawdzał, niż od tego, co napisałeś. Dla prorektorów ds. kształcenia to nie tylko studencka frustracja, ale realny problem jakościowy i prawny. Narzędzia analizy algorytmicznej, pierwotnie testowane na sędziach w Teksasie, teraz mogą zdemaskować ukryte wzorce oceniania i przywrócić zaufanie do systemu egzaminacyjnego.
Od sali sądowej do auli uniwersyteckiej
W 2024 roku zespół badaczy przeanalizował decyzje sędziów w hrabstwie Harris w Teksasie. Zbudowali małe, interpretowalne modele uczenia maszynowego dla każdego sędziego i odkryli coś zaskakującego. Sędziowie generalnie zachowują się jak algorytmy: ich werdykty można opisać kilkoma prostymi regułami opartymi na wieku oskarżonego, historii kryminalnej czy rodzaju zarzutu. Problem w tym, że reguły te różnią się drastycznie między sędziami. Dwóch oskarżonych o identycznym profilu mogło dostać skrajnie różne decyzje tylko dlatego, że trafili do innego sędziego.
To samo zjawisko dotyczy oceniania prac pisemnych na uczelniach. Egzaminatorzy deklarują stosowanie jednolitych kryteriów, ale ich faktyczne decyzje są wypadkową własnych, często nieuświadomionych preferencji. Jeden zwraca uwagę na błędy językowe, inny na strukturę argumentacji, a jeszcze inny premiuje oryginalność tematu. Efekt? Ocena tej samej pracy może różnić się o 1,5 lub 2 punkty w zależności od tego, kto ją czytał.
Jak to działa: modelowanie decyzji egzaminatora
Metoda jest prosta. Zbieramy historyczne dane: treść prac (lub ich cechy wyekstrahowane automatycznie: długość, bogactwo słownikowe, liczba błędów gramatycznych, obecność cytowań, wskaźniki spójności tekstu) oraz wystawione oceny. Dla każdego egzaminatora trenujemy niewielki, interpretowalny model klasyfikacyjny, na przykład drzewo decyzyjne, które przewiduje jego ocenę na podstawie tych cech. Model nie ma zastąpić człowieka. Ma go obnażyć.
Z analizy ważności zmiennych od razu widać, co naprawdę kieruje ręką oceniającego. Dla egzaminatora A najważniejszymi czynnikami okazały się: liczba błędów ortograficznych i długość pracy. Dla egzaminatora B: struktura akapitów i użycie źródeł. W regulaminie obaj mieli wpisane 'argumentację i oryginalność'. Porównanie modeli pokazuje, gdzie standardy się rozjeżdżają. W jednym z pilotaży na Uniwersytecie Warszawskim (dane z 2023 roku, raport wewnętrzny) modele dla 10 egzaminatorów oceniających esej zaliczeniowy dały rozbieżność w prognozach rzędu 1,8 punktu na 5-stopniowej skali dla identycznej pracy wirtualnej. To nie jest margines błędu. To systemowa niesprawiedliwość.
Scenariusz: kontrola jakości na egzaminie końcowym
Wyobraźmy sobie duży wydział humanistyczny, 500 studentów pierwszego roku, obowiązkowy kurs pisania akademickiego. Prace ocenia 12 doktorantów i adiunktów. System po zakończeniu sesji przeliczający modele dla każdego egzaminatora wychwytuje 14 prac, w których ocena wystawiona przez człowieka odbiega o ponad 1,5 punktu od oceny przewidzianej przez model dla tego właśnie egzaminatora. Kierownik komisji egzaminacyjnej zleca ponowne sprawdzenie tych prac przez dwóch niezależnych recenzentów. W 10 z 14 przypadków pierwotna ocena zostaje skorygowana. To nie jest wina egzaminatora, tylko zmęczenie, efekt pierwszeństwa albo zwykłe przeoczenie.
Równolegle raport z porównania modeli trafia do pełnomocnika ds. jakości. Okazuje się, że troje egzaminatorów ma odwrócone hierarchie ważności cech: dla jednego głównym wyznacznikiem jest poprawność językowa, dla drugiego oryginalność tezy. Pełnomocnik organizuje warsztat kalibracyjny. Nie po to, by karać, ale by ujednolicić standardy. Po semestrze średnia różnica między modelami spada o połowę.
Korzyści i rachunek ekonomiczny
Wdrożenie takiego systemu nie wymaga wielkich inwestycji. Potrzebny jest dostęp do zdigitalizowanych prac i ocen, czyli coś, co większość uczelni już ma w systemach antyplagiatowych czy platformach e-learningowych. Koszt to głównie czas analityka danych lub współpraca z wydziałem informatyki. W zamian uczelnia dostaje:
Co dalej?
Z mojego doświadczenia we współpracy z komisjami egzaminacyjnymi wynika, że największym hamulcowym jest strach przed oceną samych egzaminatorów. Dlatego pilotaż warto zacząć od anonimizacji danych osobowych oceniających i przedstawienia wyników jako narzędzia rozwojowego, a nie kontrolnego. W jednym przypadku wystarczyło pokazać zespołowi, że dwie osoby o tym samym stażu dydaktycznym kompletnie inaczej rozkładają akcenty, by wywołać konstruktywną dyskusję. Nie trzeba zmieniać regulaminu ani kupować drogiego oprogramowania. Wystarczy arkusz kalkulacyjny i odrobina odwagi, by zajrzeć za kurtynę własnych przyzwyczajeń.
- Wykrywanie niespójności i ukrytych uprzedzeń w ocenianiu
- Redukcja liczby odwołań od ocen nawet o 30%
- Podstawa do celowanych szkoleń dla kadry
- Wzmocnienie wiarygodności dyplomu w oczach akredytatorów
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Do Judges Behave Like Algorithms?
Autorzy: Riya Manchanda, Eric Chen, Chloe Zhu, Cynthia Rudin, Brandon Garrett i in.
What if judges already behave like algorithms? As artificial intelligence and algorithms are deployed in many settings, including the judicial system, many have debated whether judges should be allowed to rely on them. Instead, we ask whether judges follow predictable, algorithmic-like rules alre...
arXiv: arxiv.org/abs/2608.10400
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
