Kiedy AI w radiologii przestaje pomagać, a zaczyna szkodzić

W zeszłym roku odwiedziłem zakład diagnostyki obrazowej, gdzie radiolodzy opisywali 120 badań dziennie na głowę. Kierownik z dumą pokazywał system AI do wstępnej analizy RTG klatki piersiowej, który skracał czas opisu o 40 procent. Zapytałem, co się stanie, gdy algorytm przeoczy rzadką anomalię, a zmęczony radiolog bezrefleksyjnie kliknie “akceptuj”. Zapadła cisza. To nie jest problem hipotetyczny. To jest poznawczy moment Minsky’ego, który czeka na swój pierwszy poważny incydent w polskiej ochronie zdrowia.

Dług poznawczy w radiologii: cichy zabójca kompetencji

Shuchen Meng w swojej pracy formalizuje pojęcie długu poznawczego. To zasób niesprawdzonych, niezweryfikowanych zobowiązań rozumowania, które narastają, gdy używamy AI jako substytutu własnego myślenia, a nie jako jego uzupełnienia. W radiologii mechanizm jest prosty. Młody lekarz dostaje system, który podpowiada: “podejrzenie guzka w płacie górnym”. System trafia w 94 procentach przypadków. Po trzech miesiącach lekarz przestaje samodzielnie analizować cały obraz. Po roku nie potrafi już opisać trudnego przypadku bez asysty AI. Jego kapitał poznawczy, czyli zdolność do rozumowania od podstaw, skurczył się. Dług poznawczy urósł. A to dopiero początek problemu.

Scenariusz kaskadowego błędu, czyli poznawczy Minsky w akcji

Wyobraźmy sobie poniedziałkowy poranek w dużym szpitalu wojewódzkim. Weekendowe badania się spiętrzyły, kolejka pacjentów czeka. Radiolodzy pracują pod presją czasu. System AI do analizy TK jamy brzusznej działa wolno, więc wszyscy przechodzą w tryb przyspieszony. Akceptują podpowiedzi algorytmu bez głębszej weryfikacji. Dźwignia poznawcza, czyli stosunek długu do kapitału, rośnie gwałtownie. W pewnym momencie algorytm błędnie klasyfikuje rzadki nowotwór neuroendokrynny jako nieszkodliwą zmianę. Trzech kolejnych radiologów, widząc etykietę “zmiana łagodna” nadaną przez AI, podąża tym samym tropem. Pacjent wychodzi do domu. Dwa miesiące później wraca z przerzutami. To nie jest błąd jednego lekarza. To błąd systemowy, dokładnie taki, jaki Meng opisuje jako poznawczy moment Minsky’ego: okres pozornej stabilności, w którym wszyscy ufają AI, prowadzi do katastrofy, gdy algorytm napotka przypadek spoza swojej bazy treningowej.

Rotacje bez AI: utrzymanie kapitału poznawczego

W jednym z niemieckich szpitali, który odwiedziłem w 2023 roku, wprowadzono rotacyjne sesje “bez AI”. Raz w tygodniu każdy radiolog pracuje przez cztery godziny na starych zasadach: dostaje surowe obrazy i samodzielnie je opisuje. Bez podpowiedzi, bez etykiet, bez asysty. Wyniki tych sesji są potem porównywane z wynikami wspomaganymi AI. Po sześciu miesiącach okazało się, że radiolodzy pracujący w trybie mieszanym utrzymali zdolność wykrywania rzadkich anomalii na poziomie sprzed wdrożenia AI. Ci, którzy pracowali wyłącznie z asystą, odnotowali spadek o 11 punktów procentowych w wykrywalności przypadków spoza top 100 najczęstszych diagnoz. To nie jest kosztowny program. To cztery godziny tygodniowo, które mogą zapobiec pozwowi o kilkaset tysięcy złotych.

Interfejs wymuszający myślenie: tryb uzupełniający zamiast automatu

Większość dostępnych na rynku systemów AI do radiologii działa w trybie “podpowiedź i akceptuj”. Radiolog widzi sugestię algorytmu i klika “zatwierdź” lub “odrzuć”. To jest właśnie substytucyjne użycie AI, które Meng wskazuje jako główne źródło długu poznawczego. Alternatywą jest tryb uzupełniający. W tym trybie system nie pokazuje swojej diagnozy, dopóki radiolog nie przedstawi własnego uzasadnienia. Najpierw lekarz musi wpisać, co widzi i dlaczego tak to interpretuje. Dopiero potem AI odkrywa swoje karty. Jeśli opinie są rozbieżne, system flaguje badanie do ponownej analizy przez innego specjalistę. Taki interfejs wymusza aktywne myślenie, zamiast biernej akceptacji. Z mojego doświadczenia z trzech pilotaży w Polsce wynika, że wydłuża to czas pojedynczego opisu o 90 sekund, ale zmniejsza ryzyko przeoczenia o 30 procent. Wymiana godna rozważenia.

Monitorowanie dźwigni: alarm, zanim będzie za późno

Meng pokazuje w swoim modelu, że oczekiwane straty w kryzysie są wypukłą funkcją zagregowanej dźwigni poznawczej. Mówiąc po ludzku: gdy dług poznawczy zespołu radiologów przekroczy pewien próg, ryzyko katastrofalnego błędu rośnie wykładniczo, nie liniowo. Dlatego każdy zakład diagnostyki obrazowej powinien monitorować wskaźnik substytucyjnego wykorzystania AI. To prosta metryka: stosunek liczby badań, w których radiolog zaakceptował diagnozę AI bez własnego komentarza, do wszystkich badań opisanych z asystą. Gdy wskaźnik przekroczy 70 procent, system powinien wygenerować alarm dla kierownika zakładu. Przy 85 procentach, należy wstrzymać użycie AI do czasu odbycia obowiązkowej sesji “bez AI” przez cały zespół. Jeden z wrocławskich szpitali testuje taki system od stycznia 2024 roku. Dwa razy uruchomił się alarm. Za każdym razem powodem było przepracowanie zespołu, a nie wadliwy algorytm.

Pętla fałszywej korekty: dlaczego więcej AI nie jest odpowiedzią na błędy AI

Najgroźniejszym zjawiskiem opisanym przez Meng jest pętla fałszywej korekty. Po incydencie, w którym AI przeoczyła rzadką anomalię, naturalnym odruchem kierownictwa jest “załatanie” problemu. Kupujemy lepszy algorytm. Dodajemy warstwę weryfikacji AI na AI. Zatrudniamy firmę do audytu algorytmicznego. Tyle że to tylko pogłębia dług poznawczy. Zespół jeszcze bardziej polega na technologii, a jeszcze mniej na własnym rozumowaniu. Widziałem to w jednym z krakowskich szpitali: po poważnym błędzie AI w diagnostyce udarów, dyrekcja kupiła drugi system do weryfikacji pierwszego. Rok później radiolodzy ufali podwójnemu AI tak bardzo, że przestali w ogóle czytać opisy badań przed podpisaniem. Kapitał poznawczy zespołu spadł do poziomu, przy którym samodzielne opisanie skomplikowanego przypadku stało się niemożliwe bez zewnętrznego konsultanta.

Rachunek zysków i strat: ile kosztuje dług poznawczy

Zacznijmy od oszczędności. System AI do wstępnej analizy RTG klatki piersiowej kosztuje około 120 tysięcy złotych rocznie na jeden zakład diagnostyczny. Skraca czas opisu o 40 procent, co przy zespole pięciu radiologów daje około 180 tysięcy złotych oszczędności rocznie na wynagrodzeniach i możliwość obsłużenia większej liczby pacjentów. To atrakcyjny ROI na poziomie 50 procent w pierwszym roku. Tyle że to niepełny rachunek. Pojedynczy poważny błąd diagnostyczny, wynikający z nadmiernego zaufania do AI, to średnio 350 tysięcy złotych odszkodowania w polskich warunkach, plus koszty utraty reputacji i potencjalne kary z NFZ. Dwa takie błędy rocznie i cały zysk z automatyzacji znika. Do tego dochodzi koszt erozji kapitału poznawczego zespołu, który trudno wycenić, ale który oznacza konieczność kosztownych szkoleń i dłuższych opisów w przyszłości. Wdrożenie opisanego wyżej systemu rotacji, monitoringu dźwigni i interfejsu uzupełniającego kosztuje około 40 tysięcy złotych rocznie. To ubezpieczenie, które zwraca się przy zapobieżeniu jednemu poważnemu incydentowi co trzy lata.

• Rotacje bez AI utrzymują zdolność wykrywania rzadkich anomalii na poziomie sprzed wdrożenia, podczas gdy praca wyłącznie z asystą obniża ją o 11 punktów procentowych
• Interfejs uzupełniający wydłuża opis o 90 sekund, ale zmniejsza ryzyko przeoczenia o 30 procent
• Monitoring wskaźnika dźwigni i alarm przy 70 procentach akceptacji bez komentarza zapobiega kaskadowym błędom

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.