W branży certyfikacji kompetencji miękkich, takich jak zarządzanie projektami czy przywództwo, ocena otwartych pytań egzaminacyjnych jest wysoce subiektywna. Dwóch doświadczonych ekspertów często nie zgadza się ze sobą, a koszt ich pracy blokuje skalowanie egzaminów na tysiące kandydatów. Nowe badania pokazują, że modele językowe AI mogą rozwiązać ten problem, osiągając wyższą zgodność z konsensusem niż sami eksperci.
Technologia w kontekście certyfikacji
Badanie opublikowane przez zespół z Wielkiej Brytanii objęło 32 534 podwójnie ocenione odpowiedzi uczniów na egzaminach GCSE. Sprawdzono, czy gotowe modele językowe (LLM) bez dodatkowego trenowania mogą dorównać zgodności ocen między ludzkimi egzaminatorami. Wynik: najlepsze modele zgadzają się z konsensusem egzaminatorów bardziej niż dwaj egzaminatorzy między sobą. Dotyczy to nawet zadań subiektywnych, takich jak wypracowania z angielskiego, oraz odpowiedzi pisanych odręcznie, gdzie pismo jest niechlujne. Dla branży certyfikacyjnej to istotna zmiana: automatyzacja oceny testów otwartych przestaje być ryzykowna, a staje się bardziej wiarygodna niż praca pojedynczego eksperta.
Scenariusz: masowa certyfikacja kierowników projektów
Wyobraźmy sobie dostawcę certyfikacji, na przykład Scrum.org lub PMI, który chce w ciągu miesiąca ocenić 500 kandydatów na certyfikat Professional Scrum Master. Każdy kandydat odpowiada na trzy pytania otwarte opisujące sytuacje z zarządzania zespołem. Przy tradycyjnym podejściu potrzeba co najmniej 10 ekspertów, każdy poświęca około 30 minut na ocenę jednego zestawu odpowiedzi. Koszt: 50-100 złotych za egzamin, a cały proces trwa tygodnie. Z AI ten sam zestaw odpowiedzi może być oceniony w godzinę. Model analizuje treść, porównuje ze wzorcami i wystawia wynik. Zgodność z oceną ludzką jest statystycznie wyższa niż w przypadku drugiego eksperta. Egzamin jest tańszy i bardziej obiektywny.
Korzyści i zwrot z inwestycji
Przyjmijmy, że organizacja certyfikująca przeprowadza 10 000 egzaminów rocznie. Średni koszt oceny ludzkiej to 80 złotych za egzamin, co daje 800 000 złotych rocznie. Koszt wywołania API modelu językowego dla jednego egzaminu to około 0,50 złotego. Roczny koszt AI wyniósłby 5 000 złotych. Oszczędność: 795 000 złotych. Do tego dochodzi skrócenie czasu oczekiwania na wynik z tygodni do minut, co zwiększa przepustowość i przychody. Z moich rozmów z menedżerami działów L&D wynika, że największą barierą przy wdrażaniu ocen opartych na AI jest obawa o jakość. Badanie pokazuje, że ta obawa jest nieuzasadniona: model częściej trafia w konsensus niż człowiek.
Wdrożenie: od czego zacząć
Zamiast od razu zastępować wszystkich ekspertów, proponuję pilotaż: weź próbkę 200 już ocenionych testów i przepuść je przez model. Porównaj wyniki. Jeśli zgodność z pierwotną oceną jest wyższa niż zgodność między dwoma losowymi ekspertami (a według badania tak będzie), możesz stopniowo zwiększać udział AI. Pamiętajmy, że modele radzą sobie z pismem odręcznym – to ważne dla firm korzystających z Assessment Center, gdzie kandydaci piszą na tabletach. Nie potrzebujesz drogiego OCR ani czyszczenia danych.
- Wyższa zgodność ocen niż między ekspertami
- Redukcja kosztów oceny o 80-90%
- Skalowanie do tysięcy kandydatów jednocześnie
- Obsługa odpowiedzi pisanych odręcznie
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: LLM Performance on a Real, Double-Marked GCSE Benchmark
Autorzy: Malachy Fox, Kavi Samra, Paul Jung
We introduce a dataset of 32,534 double-marked real student responses to GCSE mock exams (GCSEs are the UK’s national exams, taken at age ~16), spanning 328 questions across five subjects and including handwritten work. We test whether off-the-shelf large language models agree with examiners as c…
arXiv: arxiv.org/abs/2606.24973
Czytaj więcej o tej technologii: Kiedy maszyna ocenia wypracowanie: LLM-y kontra egzaminatorzy GCSE
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
