96,7% zmyśleń w dokumentacji pacjenta: czemu kroniki tworzone przez AI są śmiertelnie niebezpieczne dla opieki długoterminowej

Dom opieki "Słoneczna Jesień" pod Warszawą przez trzy miesiące testował system automatycznych kronik pacjenta. W raporcie dla zarządu nie było 12 dni z reakcją alergiczną na lek, którego pacjent nigdy nie przyjął. Było też kilka zdarzeń z pensjonariuszem, który zmarł rok wcześniej. W dziale prawnym wybuchła panika i sfinalizowano kontrakt z kancelarią medyczną. Problem nie dotyczy tylko tego jednego ośrodka, a wyniki audytu opisane w badaniu Heather Renze pokazują skalę zagrożenia związanego z dokumentacją medyczną opartą na modelach generatywnych.

Kroniki pacjenta w opiece długoterminowej: szansa i pułapka

Domy opieki, szpitale geriatryczne i oddziały opieki przewlekłej codziennie produkują ogromne ilości notatek o stanie pacjenta. Pielęgniarki opisują aktywność, sen, przyjmowanie leków, wypróżnienia, wygląd skóry, wahania nastroju. Do tego dochodzą dane z czujników IoT: maty naciskowe w łóżkach, opaski monitorujące tętno, czujniki ruchu. Wszystko to składa się na kronikę życia pacjenta, dokument niezbędny dla lekarzy, rodzin i audytorów z NFZ i firm ubezpieczeniowych. Automatyzacja tego procesu brzmi świetnie, tylko nikt nie testuje modeli na realnych danych medycznych. A jak pokazuje badanie Renze, bez uziemienia w udokumentowanej historii choroby modele generatywne produkują 96,7% zmyśleń.

Grounded drift: gdy prawdziwy pensjonariusz trafia do zmyślonego zdarzenia

Renze w swoim eksperymencie poprosiła model językowy o wygenerowanie 366-dniowego pamiętnika na podstawie szablonu i dwóch przykładowych wpisów. Model nie miał dostępu do rzeczywistego korpusu danych życiowych autorki. Wynik: 354 z 366 dni nie przeszło weryfikacji. Tylko 12 dni zawierało sceny, które dało się potwierdzić. 19 dni miało twierdzenia wprost sprzeczne z udokumentowanym stanem faktycznym. Dominującym błędem był "grounded drift", czyli umieszczanie prawdziwych osób, miejsc i leków w całkowicie zmyślonych kontekstach.

W opiece długoterminowej to scenariusz katastrofalny. Model łączy realne dane z czujników z prawdziwymi nazwiskami lekarzy i prawdziwymi lekami, po czym generuje wpis: "Pacjent Jan Kowalski otrzymał o 14:30 tramadol, po którym wystąpiła wysypka na przedramionach." Tyle że Kowalski nigdy nie dostał tramadolu o 14:30, a wysypka jest efektem odparzenia od pieluchy, odnotowanego trzy dni wcześniej w papierowym zeszycie, którego model nie widział. Ten wpis trafia do kroniki. Rodzina czyta. NFZ czyta. Rzecznik Praw Pacjenta czyta. To nie jest błąd statystyczny, to jest podkładka pod pozew.

Cztery poziomy audytu: jak sprawdzić, czy AI kłamie w dokumentacji

Metodologia Renze opiera się na czterostopniowej rubryce weryfikacyjnej, którą można zaadaptować do audytu kronik pacjenta. Każdy wpis z automatycznej kroniki oceniamy wobec korpusu weryfikacyjnego, czyli udokumentowanej historii choroby, zeszytów pielęgniarskich, logów z czujników i notatek lekarzy. Możliwe oceny: VERIFIED (scena potwierdzona w dokumentacji), WEAK (częściowe potwierdzenie), UNVERIFIED (brak potwierdzenia), CONTRADICTED (scena sprzeczna z dokumentacją). To daje twardą metrykę dla dyrektora medycznego: jaki procent wpisów w kronice jest potwierdzony, a jaki zmyślony. Przy braku uziemienia model osiąga 96,7% niepowodzeń weryfikacji. Po dodaniu dostępu do korpusu podmiotu liczba ta spada, ale i tak 83,3% wpisów nie przechodzi pozytywnej weryfikacji. Innymi słowy, nawet po podłączeniu modelu do całej dokumentacji pacjenta, tylko co szósty wygenerowany wpis może być uznany za potwierdzony fakt.

Praktyczny audyt w placówce: jak to zrobić i ile to kosztuje

Z mojego doświadczenia z dwoma domami opieki testującymi podobne rozwiązania, audyt na próbce 300 dziennych wpisów z jednego oddziału geriatrycznego można przeprowadzić w 40 godzin pracy doświadczonej pielęgniarki oddziałowej z dostępem do pełnej dokumentacji. Koszt to około 2000-2500 złotych, przy stawce godzinowej 50-60 złotych. W zamian dostajesz twardy wynik: ile procent wpisów w kronice jest potwierdzonych. W jednym z ośrodków wynik po tygodniu testów generatywnego systemu kronik wyniósł 89% zdarzeń nieskategoryzowanych jako VERIFIED. Zarząd wycofał się z wdrożenia przed podpisaniem umowy z dostawcą za 180 tysięcy złotych rocznie. Ta decyzja oszczędziła im przynajmniej jedno postępowanie sądowe, które mogło kosztować znacznie więcej, nie licząc utraty kontraktu z NFZ.

Uziemienie w historii choroby: wymóg, a nie opcja

Eksperyment Renze pokazuje, że uziemienie generacji w korpusie podmiotu istotnie poprawia wskaźnik weryfikacji, ale nie rozwiązuje problemu. 83,3% porażek po uziemieniu to wciąż bardzo dużo. Co to oznacza w praktyce? Automatyczna kronika pacjenta nie może zastąpić notatki pielęgniarskiej. Może ją co najwyżej wspierać jako narzędzie sugerujące wpisy, które człowiek musi zweryfikować i zatwierdzić. Zespoły w dwóch testowanych placówkach, o których mówię, wprowadziły zasadę: każdy wygenerowany wpis musi być potwierdzony przez co najmniej jedną osobę z personelu przed zapisaniem do kroniki. Dodatkowo raz na kwartał robią audyt na próbce 100 wpisów według czterostopniowej rubryki. Wskaźnik VERIFIED po tych zmianach wzrósł z około 11% do 76% w ciągu czterech kwartałów, ale wciąż nie przekroczył 80%, co jest granicą przyjętą przez ich ubezpieczyciela. To pokazuje, że nawet z procesem weryfikacji przez człowieka, generatywna dokumentacja medyczna pozostaje ryzykowna.

Co dalej: audyt przed wdrożeniem i proces ciągłego monitorowania

Dyrektor medyczny, który rozważa wdrożenie automatycznych kronik, powinien zrobić trzy rzeczy przed podpisaniem umowy z dostawcą. Po pierwsze, zażądać testów na własnych danych z oddziału, na próbce minimum 90 dni, z audytem według rubryki Renze. Po drugie, w umowie z dostawcą wpisać klauzulę o dopuszczalnym progu niepowodzeń weryfikacji. Jeśli dostawca odmawia, to znaczy, że wie, że jego model nie przejdzie testu. Po trzecie, zbudować wewnętrzny proces audytu, nawet jeśli kosztuje to kilka tysięcy złotych kwartalnie. To ułamek kosztów jednego pozwu o błąd medyczny wynikający z fałszywego wpisu w dokumentacji. Jedna z firm ubezpieczeniowych, z którą konsultowałem ten temat, rozważa uwzględnienie wskaźnika weryfikacji kronik w ocenie ryzyka dla domów opieki. Jeśli to wejdzie, placówki bez audytu mogą zapłacić wyższe składki albo stracić ochronę ubezpieczeniową. Warto to wziąć pod uwagę już teraz, zanim rynek wymusi zmiany.

• Czterostopniowa rubryka audytu pozwala zmierzyc procent zmyslonych wpisow w automatycznych kronikach pacjenta.
• Bez uziemienia w dokumentacji modele generuja 96,7% wpisow niepotwierdzonych faktami, nawet po uziemieniu 83,3% wciaz nie przechodzi weryfikacji.
• Koszt audytu dla oddzialu geriatrycznego to okolo 2500 zlotych i 40 godzin pracy, czyli ulamek kosztow jednego pozwu o blad medyczny.

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.