ewaluacja modeli

Większość platform e-learningowych nadal sprawdza tylko odpowiedzi. Uczeń wpisuje wynik, system mówi 'dobrze' albo 'źle'. To działa, kiedy chcemy odhaczyć kolejny moduł. Gorzej, gdy celem jest nauczenie logicznego myślenia. W matematyce, fizyce czy programowaniu ktoś…

Kiedy agencja rządowa integruje model językowy open-source z systemem analizy danych wywiadowczych, wpuszcza do swojej sieci czarną skrzynkę. Nie wie, czy model nie został wcześniej podmieniony albo wytrenowany na zatrutych danych. Standardowe testy penetracyjne i…

Model działał idealnie na testach, a po wdrożeniu zaczyna produkować odpowiedzi, które wyglądają na poprawne, ale są logicznie bez sensu. Standardowe metryki pokazują zielone światło, więc nikt nie wie, co się zepsuło. Nowa metoda diagnostyczna…

Bank wdraża system do oceny kredytowej, przeszkolony na pięciu milionach wniosków. W testach wypada rewelacyjnie. Dwa miesiące po wdrożeniu okazuje się, że dla klientów prowadzących działalność gospodarczą model podejmuje decyzje niemal losowo. Problemem nie jest…