W 2024 roku trzy polskie szpitale wojewódzkie zrezygnowały z komercyjnych systemów AI do wstępnej diagnostyki obrazowej. Powód? Po roku użytkowania nie potrafiły wykazać, że algorytm realnie skrócił czas oczekiwania na opis albo zmniejszył liczbę przeoczonych zmian. Problem nie leżał w samej technologii, tylko w sposobie jej rozliczania: nikt nie śledził, które decyzje AI przyniosły oszczędność, a które wygenerowały dodatkowe koszty.
Od metryk do śladów: nowa metoda oceny AI w diagnostyce
Paper naukowy o agentach tradingowych wprowadził pojęcie 'agentic viability', czyli zdolności systemu AI do generowania zysku przewyższającego koszty jego własnej inteligencji. Zamiast patrzeć na surowe metryki wydajności, autorzy analizowali ślady decyzji (trace-grounded diagnosis) i przypisywali zyski oraz straty do konkretnych kroków algorytmu. W diagnostyce obrazowej działa to analogicznie. Zamiast oceniać AI wyłącznie przez czułość i swoistość na zbiorze testowym, możemy rekonstruować każdą ścieżkę kliniczną: od sugestii AI, przez decyzję radiologa, aż po efekt zdrowotny i koszt procedur. Dopiero to pokazuje, czy szpital faktycznie zarabia na wdrożeniu, czy tylko dopłaca do fałszywych alarmów.
Scenariusz: AI w rtg klatki piersiowej na SOR
Wyobraźmy sobie szpitalny oddział ratunkowy, który wykonuje 40 000 zdjęć klatki piersiowej rocznie. Wdrożono system AI do priorytetyzacji badań: algorytm w ciągu 30 sekund oznacza przypadki podejrzane o zapalenie płuc lub odmę i przesuwa je na początek kolejki do opisu. Dzięki temu czas do pierwszego raportu dla krytycznych pacjentów spada z 4 godzin do 45 minut. To realna wartość: szybsze włączenie antybiotyku albo decyzja o drenażu skraca pobyt na SOR średnio o 1,2 dnia, co daje oszczędność około 800 zł na pacjencie (koszt osobodnia w polskim szpitalu to 600 do 900 zł).
Problem pojawia się, gdy AI ma 6% odsetek fałszywie pozytywnych wyników. Przy 40 000 badań rocznie daje to 2400 pacjentów, u których radiolog zleca dodatkową tomografię komputerową 'na wszelki wypadek', bo algorytm wskazał podejrzany cień. Koszt jednej TK klatki piersiowej to około 350 zł. Łącznie: 840 000 zł rocznie wyrzuconych w błoto. Do tego dochodzi stres pacjenta i obciążenie pracowni tomograficznej. Bez analizy śladów decyzji szpital widzi tylko, że AI 'przyspiesza diagnostykę', ale nie zauważa, że generuje też cichy drenaż budżetu.
Gdzie AI traci pieniądze: wzorce niepowodzeń
Podobnie jak w paperze o agentach tradingowych, gdzie DeepSeek-V3.2 miał problem z selekcją aktywów, a GLM-4.7 z timingiem, różne modele AI w diagnostyce obrazowej mają swoje charakterystyczne słabości. Jeden algorytm może nadwrażliwie wykrywać guzki w płucach (wysoka czułość, niska specyficzność), inny przegapia subtelne złamania żeber u pacjentów po urazie. Z doświadczeń dwóch szpitali klinicznych, z którymi rozmawiałem, wynika, że komercyjne systemy potrafią różnić się nawet o 30% w liczbie generowanych fałszywych alarmów przy tej samej czułości. Wybór modelu bez diagnostyki śladów to jak kupowanie samochodu na podstawie katalogowego spalania, ignorując rzeczywiste koszty serwisu.
Jak wdrożyć diagnostykę śladów w swoim szpitalu
Najpierw trzeba wyjść poza narrację 'AI ma 95% dokładności'. Potrzebny jest system logujący każdą sugestię AI, decyzję lekarza, zlecone badania dodatkowe i kod rozpoznania końcowego. Przez pierwsze trzy miesiące pilotażu na próbce 5000 badań można zbudować mapę kosztów: ile zaoszczędziliśmy na wcześniejszych wypisach, ile straciliśmy na zbędnych TK i konsultacjach. Potem wystarczy prosty arkusz kalkulacyjny, żeby policzyć próg opłacalności. Jeśli fałszywe alarmy kosztują więcej niż 40% ceny licencji AI, model się nie zwraca. Warto też testować różne ustawienia progu decyzyjnego: producenci często dają możliwość regulacji czułości, a optymalny punkt rzadko pokrywa się z domyślnym.
- Identyfikacja kosztownych błędów AI (fałszywe alarmy, przeoczenia) zamiast polegania na ogólnych metrykach
- Optymalizacja progów decyzyjnych i wybór modelu pod kątem realnego zwrotu z inwestycji
- Twarde dane do rozmowy z zarządem: zamiast obietnic dostajesz rachunek zysków i strat po każdym kwartale
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Can Agentic Trading Systems Pay for Their Own Intelligence?
Autorzy: Qiqi Duan, Changlun Li, Chen Wang, Fan Zhang, Mengxiang Wang i in.
Large language model (LLM) agents are increasingly used in trading systems, where model reasoning, tool use, and continual decisions incur costs that are expected to produce trading value. Existing evaluations typically report performance metrics, but rarely examine agentic viability: whether dyn...
arXiv: arxiv.org/abs/2607.10286
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
