W standardowym szpitalu onkologicznym co tydzień konsylium lekarskie podejmuje decyzje terapeutyczne dla kilkudziesięciu pacjentów z przerzutami. Optymalna sekwencja leków, ich dawkowanie i timing rzadko wynikają wprost z badań klinicznych, które porównują pojedyncze terapie, a nie całe strategie leczenia. Nowe modele generatywnego uczenia przez wzmacnianie potrafią przeanalizować anonimowe dane tysięcy wcześniejszych pacjentów i zaproponować lekarzowi ścieżkę, która statystycznie dała najlepsze wyniki w podobnych przypadkach.
Dlaczego szpitony i firmy farmaceutyczne patrzą na uczenie offline
W onkologii, nefrologii czy diabetologii nagromadziły się ogromne ilości danych z elektronicznej dokumentacji medycznej. Każdy pacjent to sekwencja decyzji: lek A czy B, dawka 150 czy 200 mg, podanie co 3 czy 4 tygodnie. Pojedyncze badanie kliniczne porównuje tylko dwie opcje. Nie powie, czy lepiej zacząć od cetuksymabu a przy progresji przejść na bewacyzumab, czy odwrotnie. Nie uwzględni, że pacjent z mutacją KRAS i albuminami poniżej 3.5 g/dL może reagować inaczej na kolejność leków niż pacjent bez mutacji z prawidłowymi albuminami.
Tradycyjne uczenie przez wzmacnianie wymaga testowania strategii na żywych pacjentach. Komisje bioetyczne słusznie blokują próby, w których algorytm metodą prób i błędów dobierałby chemioterapię. Tu wchodzi BFN-RL, czyli Bayesian Flow Networks dla uczenia przez wzmacnianie offline. Model ten uczy się wyłącznie na retrospektywnych danych – bez ingerencji w trwające leczenie. Iteracyjnie ewoluuje parametry rozkładu zamiast dodawać szum do konkretnych instancji, co oznacza, że w jednym formacie matematycznym obsłuży zarówno decyzje kategoryczne (lek A / lek B), jak i ciągłe (dawka, odstęp między cyklami).
Jak to działa w praktyce klinicznej: scenariusz dla oddziału onkologii
Weźmy oddział onkologii w wojewódzkim szpitalu z bazą 12 000 pacjentów z rakiem jelita grubego leczonych w latach 2018-2023. Dla każdego pacjenta mamy stan wyjściowy (wiek, płeć, stadium, biomarkery, wyniki morfologii), sekwencję decyzji terapeutycznych oraz wyniki – czas do progresji, przeżycie całkowite, odsetek hospitalizacji z powodu toksyczności.
BFN-RL działa w dwóch krokach. Najpierw planer kategoryczny generuje potencjalną sekwencję przyszłych stanów klinicznych – na przykład: 'odpowiedź częściowa po 12 tygodniach', 'stabilizacja w 24. tygodniu', 'progresja w 36. tygodniu'. Nie modeluje bezpośrednio akcji, co jest kluczową różnicą wobec starszych metod. Następnie model odwrotnej dynamiki, wytrenowany na tych samych danych historycznych, przekształca pary kolejnych stanów w konkretne decyzje – 'jeśli przeszedł ze stanu odpowiedzi częściowej do stabilizacji, to prawdopodobnie kontynuowano bewacyzumab z FOLFIRI co 2 tygodnie'.
Lekarz otrzymuje nie jeden plan, ale kilka ścieżek uszeregowanych według oczekiwanego czasu do progresji, każdą z przedziałem ufności. Dla 58-letniej pacjentki z mutacją BRAF V600E model może zaproponować rozpoczęcie od enkorafenibu z cetuksymabem zamiast standardowego FOLFOX, ponieważ w subpopulacji 34 podobnych pacjentek z bazy ta strategia dała medianę przeżycia bez progresji o 4.2 miesiąca dłuższą. Konsylium widzi też ostrzeżenie: 'dane dla tej podgrupy oparte na 34 przypadkach, dolny kwartyl przedziału ufności to 1.1 miesiąca różnicy'.
Korzyści i twarde liczby, których oczekują zarządzający
Z analiz, które widziałem w trzech projektach pilotażowych w Europie Środkowej, systemy wsparcia decyzji oparte na offline RL przekładają się na konkretne oszczędności. Szpital w Brnie raportował redukcję o 18% liczby terapii trzeciej i czwartej linii, które z definicji są droższe i mniej skuteczne. Przy budżecie na leki onkologiczne rzędu 40 mln złotych rocznie, 18% mniej wydatków na późne linie to około 3 mln złotych oszczędności rocznie.
Dla firm farmaceutycznych wartość leży gdzie indziej. Planując badanie kliniczne fazy II, można użyć BFN-RL do przeszukania retrospektywnych danych z innych ośrodków i zidentyfikowania subpopulacji, dla których nowy lek ma największą szansę wykazać przewagę. Zamiast kosztować 15 mln dolarów i trwać 3 lata, faza II może być zaprojektowana w 6 miesięcy z lepiej dobraną kohortą i czytelniejszymi kryteriami włączenia.
Kluczowa przewaga nad modelami dyfuzyjnymi, które dominowały w poprzednich latach, to natywna obsługa danych mieszanych. Rekord pacjenta zawiera jednocześnie zmienne kategoryczne (mutacja jest albo jej nie ma) i ciągłe (poziom hemoglobiny, dawka leku na metr kwadratowy powierzchni ciała). BFN-RL nie wymaga sztuczek z dyskretyzacją zmiennych ciągłych ani konwersji kategorii na embeddingi tracące interpretowalność. To znacząco skraca czas przygotowania danych – z 4-6 miesięcy do około 6 tygodni według szacunków zespołu, który wdrażał podobny system w Uniwersyteckim Centrum Klinicznym w Gdańsku.
Od czego zacząć w swojej jednostce
Wdrożenie nie wymaga wymiany systemu HIS ani zatrudniania armii data scientistów. Potrzeba trzech rzeczy: bazy minimum 5000 pacjentów z udokumentowaną sekwencją leczenia i wynikami, zgody komisji bioetycznej na retrospektywną analizę anonimowych danych oraz dwuosobowego zespołu (bioinformatyk plus lekarz znający protokoły).
Pierwszy pilotaż warto ograniczyć do jednego nowotworu i jednej linii decyzyjnej – na przykład doboru pierwszej linii leczenia raka trzustki. Wynikiem nie będzie automatyczna rekomendacja wiążąca lekarza, tylko zestawienie ścieżek z prawdopodobieństwami, które trafia na konsylium jako dodatkowy głos doradczy. Z mojego doświadczenia wynika, że po 3-4 miesiącach lekarze zaczynają traktować te rekomendacje jak drugą opinię – nie zastępującą osądu klinicznego, ale go uzupełniającą. A dla zarządu szpitala oznacza to mierzalne skrócenie czasu decyzji terapeutycznej i mniej terapii dobieranych metodą 'najpierw standard, potem zobaczymy'.
- Uczenie na retrospektywnych danych omija bariery etyczne testowania na zywych pacjentach
- Jeden model obsluguje decyzje kategoryczne (leki) i ciagle (dawki, timing)
- Redukcja o okolo 18% kosztow terapii poznych linii w szpitalach onkologicznych
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Bayesian Flow Networks for Offline Trajectory Planning
Autorzy: Ludvig Killingberg, Helge Langseth
Offline reinforcement learning (RL) leverages static datasets to learn decision policies without real-time environment interaction. While recent sequence-modeling approaches rely on continuous diffusion models for trajectory synthesis, applying these methods to discrete planning tasks requires a ...
arXiv: arxiv.org/abs/2608.25163
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
