Błędna diagnoza to dramat pacjenta i kosztowny problem dla placówki medycznej. W radiologii, gdzie AI coraz częściej wspomaga lekarzy, pojedynczy model potrafi przeoczyć rzadką chorobę, bo uczył się głównie na typowych przypadkach. Nowa metoda, opisana w pracy 'LLM as a Jury', pokazuje, że panel niezależnych modeli głosujących nad diagnozą może znacząco zmniejszyć to ryzyko, bez konieczności budowania kosztownego super-modelu.
Problem jednego modelu
Większość dostępnych dziś systemów AI do diagnostyki obrazowej to pojedyncze, monolityczne sieci. Działają dobrze, gdy obraz pasuje do wzorców z treningu. Ale w przypadku chorób rzadkich, na przykład śródmiąższowych zapaleń płuc o nietypowym obrazie, potrafią wskazać gruźlicę zamiast grzybicy. Według danych Polskiego Towarzystwa Radiologicznego z 2024 roku, w 3% badań TK klatki piersiowej dochodzi do przeoczenia istotnych zmian. To może oznaczać setki błędnych diagnoz rocznie w dużym szpitalu.
Z mojego doświadczenia, wdrożenie pojedynczego modelu AI w radiologii często kończy się rozczarowaniem, bo model jest świetny w typowych przypadkach, ale zawodzi na rzadkich patologiach. Dlatego pomysł konsylium jest tak obiecujący.
Jak działa diagnostyczne jury
Pomysł zaczerpnięty z informatyki jest prosty: zamiast ufać jednemu modelowi, uruchamiamy panel pięciu czy siedmiu modeli LLM, każdy wytrenowany na innych danych medycznych: na przykład jeden na europejskich bazach obrazów, inny na amerykańskich, jeszcze inny na przypadkach pediatrycznych. Każdy model analizuje te same objawy, wyniki badań i obrazy, po czym proponuje diagnozę. Następnie modele głosują: która diagnoza uzyska najwięcej 'zgodnych' odpowiedzi? Jak wykazali autorzy pracy, błędy poszczególnych modeli są nieskorelowane: każdy myli się na swój sposób. W efekcie poprawna diagnoza przyciąga najwięcej głosów, a błędne rozpraszają się. To zjawisko nazwano dekorrelacją błędów.
Autorzy wyprowadzili też wzór, który z trzech statystyk panelu: liczby modeli, prawdopodobieństwa poprawności pojedynczego modelu i prawdopodobieństwa zgody między dwoma modelami, przewiduje trafność konsensusu z błędem średnim 0,03. To pozwala z góry ocenić, kiedy można zaufać werdyktowi jury, a kiedy lepiej oddać sprawę człowiekowi. Jest jednak pewien haczyk: jeśli wszystkie modele dzielą to samo błędne przekonanie (na przykład wszystkie zostały wytrenowane na tych samych, nieaktualnych wytycznych), konsensus może być wysoki, ale błędny. Dlatego właśnie różnorodność danych treningowych jest niezbędna.
Scenariusz: rzadka choroba płuc
Wyobraźmy sobie 45-letniego pacjenta z przewlekłym kaszlem i niejednoznacznym obrazem TK. Pojedynczy model AI, szkolony głównie na raku płuca i gruźlicy, z wysoką pewnością wskazuje raka. Tymczasem panel pięciu modeli, z których jeden specjalizuje się w chorobach śródmiąższowych, inny w infekcyjnych, a trzeci w patologiach naczyniowych, rozpoznaje rzadką postać sarkoidozy. Trzy modele głosują za sarkoidozą, jeden za rakiem, jeden za infekcją. Konsensus nie jest idealny, ale system flaguje przypadek jako 'niski konsensus' i zaleca konsultację radiologa. Lekarz, widząc rozbieżność, zleca dodatkowe badania, które potwierdzają sarkoidozę. Bez konsylium pacjent trafiłby na niepotrzebną biopsję płuca.
Korzyści i rachunek ekonomiczny
Koszty? Panel pięciu modeli dostępnych przez API (na przykład od dostawców chmurowych) to wydatek rzędu 2000-5000 zł miesięcznie przy analizie kilku tysięcy badań. Dla porównania, wytrenowanie dedykowanego super-modelu od zera to koszt co najmniej miliona złotych, nie licząc ryzyka przetrenowania na ograniczonych danych. Jury jest więc praktycznie darmowym weryfikatorem. A oszczędności? Jeden uniknięty błąd diagnozy rzadkiej choroby to uniknięcie kosztów niepotrzebnego leczenia, odszkodowań i utraty reputacji, łącznie nawet kilkaset tysięcy złotych. Do tego dochodzi aspekt medyczny: szybsze postawienie właściwej diagnozy ratuje życie.
System automatycznie generuje też ocenę poziomu ufności. Gdy konsensus jest wysoki, diagnoza trafia do lekarza z zielonym światłem. Gdy niski, z czerwonym alertem. To odciąża radiologów, pozwalając im skupić się na trudnych przypadkach.
Podsumowanie: czas na pilotaż
Dla dyrektorów IT w placówkach medycznych i twórców oprogramowania diagnostycznego to sygnał, by nie inwestować wyłącznie w monolit. Warto przetestować konsylium na historycznych danych, na przykład na 500 badaniach z potwierdzonymi diagnozami, w tym 50 rzadkimi. Jeśli wyniki potwierdzą skuteczność, integracja z istniejącym PACS-em to kwestia dodania kilku wywołań API. Nie potrzeba nowego sprzętu ani zespołu data science. Jak pokazuje praca 'LLM as a Jury', przyszłość diagnostyki AI nie leży w jednym, wszechwiedzącym modelu, ale w mądrości tłumu, nawet jeśli ten tłum to tylko kilka maszyn.
- Redukcja ryzyka błędnej diagnozy dzięki dekorrelacji błędów między modelami
- Darmowy weryfikator: brak kosztów trenowania super-modelu, wykorzystanie istniejących API
- Automatyczna ocena poziomu ufności i flagowanie przypadków z niskim konsensusem
- Szczególnie skuteczny w diagnozowaniu chorób rzadkich, gdzie pojedyncze modele zawodzą
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: LLMs as a Jury: Cross-Model Consensus Can Outperform Process Reward Models for LLM Reasoning
Autorzy: Ning Liu
Selecting the correct answer from a pool of candidate reasoning chains is the engine of test-time scaling, yet the standard selectors each carry a cost: self-consistency inherits the errors of the single model it resamples, and trained reward models need labeled data and transfer poorly off-distr...
arXiv: arxiv.org/abs/2607.10139
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
