Inteligentne korepetycje: jak upewnić się, że wirtualny uczeń nie zmieni się pod wpływem nowego kursu

Chcesz sprawdzić, czy nowy asystent AI podnosi wyniki uczniów o 10%, ale testy na 100 wirtualnych profilach dają zawyżony wynik. To częsty problem: LLM-owy uczeń podczas lekcji niepostrzeżenie zmienia styl nauki albo poziom motywacji, przez co porównanie grup traci sens. Badanie Lina i współpracowników pokazuje, jak wykryć ten dryf i go opanować, zanim podejmiesz decyzję o wdrożeniu.

Dlaczego syntetyczny uczeń przestaje być miarodajny

Firmy edtech coraz częściej sięgają po wirtualnych uczniów napędzanych modelami językowymi, żeby szybko testować nowe interwencje – od personalizowanych ścieżek po gamifikację. Zamiast czekać miesiącami na badanie z udziałem prawdziwych studentów, wywołujemy odpowiedzi 100 profili LLM w kilka godzin. Problem zaczyna się, gdy jako produkt manager zakładasz, że to eksperyment typu RCT. Bo nie jest. Paper Lina pokazuje, że nawet z pozoru identyczny uczeń – np. ’30-latek ze średnią motywacją’ – po kontakcie z kursem automatycznie ‘dorabia’ cechy: jeden staje się wzrokowcem po materiałach wideo, drugi słuchowcem po podcastach. Interwencja nie tylko wpływa na wynik – wpływa też na to, kim uczeń jest w modelu. To dryf konfundujący, który może przepompować efekt leczenia nawet dwukrotnie.

Diagnostyka dryfu z pomocą niezmiennych atrybutów

Proponowana metoda opiera się na tzw. negatywnych rezultatach kontrolnych – atrybutach ucznia, na które kurs nie powinien wpływać, a które są wrażliwe na te same utajone cechy co wynik. Przykłady: typ inteligencji wg Gardnera, wcześniejsza wiedza mierzona testem przed, dominujący styl uczenia się (wzrokowy, słuchowy, kinestetyczny). Jeśli rozkład tych cech różni się istotnie między grupą z nowym kursem a kontrolną, mamy dryf. Liczy się go miarą TVD (total variation distance): im wyższa, tym większe skrzywienie. W eksperymencie dla platformy matematycznej po dodaniu asystenta AI TVD dla stylu uczenia się wzrosło z 0,05 do 0,22, co przekłada się na 12-procentową nadwyżkę efektu.

Scenariusz: test nowego korepetytora z matematyki

Wyobraźmy sobie platformę e-learningową, która chce sprawdzić, czy nowy korepetytor AI (wersja A) podnosi wyniki testu końcowego o 8 punktów procentowych w porównaniu do starego (wersja B). Zespół definiuje 200 wirtualnych uczniów z podstawowymi danymi: wiek, poziom klasy i wynik pre-testu. Po wywołaniu obu grup okazuje się, że użytkownicy A mają średnio 84%, a B 76%. Rezultat idzie na slajd inwestorski. Zastosowanie diagnostyki jest proste: produkt manager wyciąga przed testem zestaw atrybutów niezmiennych (typy inteligencji, preferowany tryb nauki) i mierzy TVD. Okazuje się, że w grupie A ubyło uczniów analitycznych na rzecz wizualnych – bo kurs A korzysta z animacji. Po dodaniu tych zmiennych jako stałych do person (iteracyjnie) i przeliczeniu, obserwowany efekt topnieje do 4,2 pp – czyli poniżej progu istotności. Prawdziwa różnica jest zbyt mała, by wdrażać kosztowny upgrade.

Korzyści biznesowe i wskaźniki zwrotu

Wirtualne eksperymenty bez korekty dryfu dają fałszywe pozytywy – a to oznacza marnowanie budżetu R&D na funkcje, które w prawdziwej klasie nie działają. Szacujemy, że średniej wielkości platforma edtech testuje rocznie 8–12 nowych interwencji, z których co czwarta opiera się wyłącznie na syntetycznych AB-testach. Jeśli nawet połowa efektów jest przeszacowana o te same 8 pp, to w skali roku to ok. 200–300 tys. zł utopionych w development i marketing. Wdrożenie diagnostyki dryfu to koszt kilkudziesięciu wywołań API i tydzień pracy analityka – zwrot jest natychmiastowy. Czas od pomysłu do decyzji spada z 3–4 miesięcy (pilotaż na studentach) do 48 godzin, przy czym wyniki są teraz wiarygodne. Ryzyko popełnienia błędu drugiego rodzaju (odrzucenie dobrego rozwiązania) też maleje, bo stabilizacja person daje precyzyjniejszy odczyt.

Następny krok: sprawdź swoich wirtualnych uczniów

Zamiast zakładać, że syntetyczny eksperyment działa jak RCT, potraktuj go od początku jak badanie obserwacyjne. Wybierz 3–5 atrybutów ucznia niepodatnych na Twoją interwencję, policz dla nich TVD i jeśli przekracza 0,1 – dopytaj model o kolejne cechy i dorzuć je do persony. Powtarzaj aż miara się ustabilizuje. Dopiero wtedy porównuj wyniki końcowe. Metodę tę można wdrożyć w istniejących pipeline’ach testowych – wiele platform już korzysta z open-source’owych narzędzi do orkiestracji LLM. Zacznij od jednego eksperymentu kontrolnego na 100 profilach. Jeśli efekty sprzed miesiąca się zmienią, wiesz, że wcześniejsze decyzje mogły opierać się na szumie.

• Redukcja fałszywie pozytywnych wyników testów nawet o 70%
• Skrócenie cyklu testowania funkcji z 3 miesięcy do 2 dni
• Uniknięcie 200–300 tys. zł rocznie straconych na nietrafione wdrożenia

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.