W połowie zeszłego roku jeden z europejskich operatorów telemedycznych zauważył niepokojącą tendencję: chatbot triażujący, oparty na architekturze Mixture-of-Experts, aż w 23% przypadków zawyżał lub zaniżał priorytet dla pacjentów opisujących objawy w językach innych niż angielski. Problem dotykał zwłaszcza osób mówiących po polsku, francusku i bengalsku – model wybierał niewłaściwych ‘ekspertów’ w swoich warstwach pośrednich, co zniekształcało wstępną ocenę. Z kilku rozmów z CTO platform telemedycznych wiem, że to nie odosobniony przypadek, a codzienność większości systemów wspomagania decyzji medycznych opartych na dużych modelach językowych.
Dlaczego wielojęzyczne chatboty medyczne zawodzą
Współczesne asystenty diagnostyczne korzystają z architektury Mixture-of-Experts (MoE), gdzie wiele wyspecjalizowanych podsieci (‘ekspertów’) aktywuje się selektywnie w zależności od kontekstu. To pozwala skalować modele przy rozsądnych kosztach obliczeniowych. Niestety, mechanizm bramkujący te eksperty został wytrenowany głównie na danych anglojęzycznych i często ‘gubi się’ przy objawach opisanych w innych językach. Z angielskim opisem bólu w klatce piersiowej model radzi sobie świetnie, ale ten sam przypadek po polsku może zostać oceniony jako mniej pilny, bo aktywowani zostali niewłaściwi eksperci.
Badacze zidentyfikowali konkretną przyczynę: w środkowych warstwach modeli MoE istnieje strefa uniwersalna językowo, gdzie rozbieżność routingu między angielskim a językiem docelowym silnie koreluje z różnicą w dokładności zadania. Im bardziej ścieżki aktywacji ekspertów odbiegają od tych dla angielskiego, tym gorsza ocena. To jak lekarz, który świetnie diagnozuje po angielsku, ale słysząc te same objawy w tłumaczeniu, przestaje ufać swojej wiedzy i zgaduje.
RA-MoE: jak nauczyć model myśleć uniwersalnie
Metoda RA-MoE (Routing Alignment for Mixture-of-Experts) podchodzi do tego w trzech krokach. Najpierw dla każdej pary przykładów (ten sam opis objawów po angielsku i w języku docelowym) sprawdza się, czy model odpowiada poprawnie w obu wersjach, tylko po angielsku, tylko w języku docelowym, czy w żadnej. Powstaje czteropolowa taksonomia: cc (poprawnie w obu), ci (po angielsku tak, w docelowym nie), ic (odwrotnie) i ii (błąd w obu). Interesują nas przykłady ci – to właśnie one zdradzają, gdzie model ma potencjał w angielskim, ale nie przenosi go na inny język.
Drugi krok to identyfikacja ekspertów kluczowych dla zadania w warstwach środkowych – tych samych, które tworzą strefę uniwersalną. W trzecim etapie standardowe dostrajanie nadzorowane uzupełniane jest o pomocniczą funkcję straty (routing alignment loss), która wymusza, by przy przetwarzaniu polskiego opisu objawów model aktywował tych samych ekspertów, co przy angielskim. To trochę jakby powiedzieć doświadczonemu interniście: ‘Gdy pacjent mówi po polsku, uruchom tę samą grupę neuronów, co przy angielskiej wersji tego samego przypadku. Nie improwizuj.’
Wyniki badań na trzech modelach MoE, trzech zadaniach i sześciu językach docelowych pokazują, że RA-MoE konsekwentnie przewyższa zwykłe dostrajanie i inne techniki wyrównywania routingu. Co więcej, odsetek przykładów ci dla danej pary język–zadanie pozwala z góry oszacować, jak duży zysk przyniesie taka korekta.
Praktyczne wdrożenie w platformie telemedycznej
Wyobraźmy sobie platformę eMedicine24, która obsługuje pacjentów w Niemczech i Czechach, a teraz planuje ekspansję na Polskę. Jej asystent diagnostyczny oparty na modelu Mixtral 8x7B (architektura MoE) dobrze radzi sobie z triażem po niemiecku, ale przy pierwszych testach na polskich opisach błędnie klasyfikuje 18% przypadków jako wymagające innego priorytetu. To nie tylko ryzyko dla pacjenta, ale też obciążenie dla personelu, który musi ręcznie weryfikować błędne eskalacje.
Zespół ML przygotowuje 20 tysięcy par opisów objawów (angielski–polski) pochodzących z wewnętrznych konsultacji, gdzie każdy przypadek został już zweryfikowany przez lekarza i przetłumaczony. Za pomocą szybkiego skryptu klasyfikuje te pary według kryteriów cc/ci/ic/ii i oznacza ekspertów zadaniowych w warstwach 16–24 (środkowa strefa uniwersalna). Następnie uruchamia dostrajanie z routing alignment loss na dwóch kartach A100 – cały proces zajmuje niecałe cztery dni. Po zakończeniu odsetek błędnych ocen dla języka polskiego spada do 6%, czyli praktycznie do poziomu angielskiego. Pacjenci polskojęzyczni zaczynają otrzymywać tak samo trafne rekomendacje, jak niemieccy.
Z moich rozmów z szefami technicznymi podobnych platform wynika, że największą barierą nie jest kod czy moc obliczeniowa, tylko rzetelne przygotowanie par danych z etykietami poprawności. Ale to i tak ułamek kosztu zbierania milionów nowych przykładów w każdym języku.
Bezpieczeństwo pacjenta i liczby: gdzie szukać zwrotu
Dla platformy o skali 50 tysięcy konsultacji miesięcznie w nowym języku, redukcja błędów triażu z 18% do 6% oznacza 6 tysięcy mniej mylnie sklasyfikowanych przypadków każdego miesiąca. Szacowany średni koszt jednego takiego błędu – niepotrzebna wizyta karetki, konsultacja specjalisty, czas pielęgniarki – to około 50 euro. Daje to oszczędność rzędu 300 tysięcy euro miesięcznie, nie licząc unikniętego ryzyka prawnego i utraty zaufania pacjentów. Zwrot z inwestycji w dostrajanie RA-MoE pojawia się dosłownie w pierwszym miesiącu po wdrożeniu.
Jest też wymiar regulacyjny. Rozporządzenie o wyrobach medycznych (MDR) i nadchodzący Akt o sztucznej inteligencji wymagają od producentów oprogramowania medycznego wykazania, że ich systemy są bezpieczne i skuteczne dla wszystkich grup użytkowników. RA-MoE daje twardy dowód, że jakość diagnostyki nie spada po zmianie języka, co ułatwia audyty i certyfikację.
Wezwanie do działania: audyt i pilotaż
Jeśli twoja platforma korzysta z modelu MoE i działa w więcej niż jednym języku, pobieżna kontrola ci-type na próbce 500 dialogów pokaże, czy masz problem. Zajmuje to maksymalnie dwa dni pracy analityka. Jeśli odsetek przykładów ci przekroczy 10%, warto rozważyć dostrojenie RA-MoE na własnych danych. Repozytorium badaczy jest publicznie dostępne, a integracja z istniejącym pipeline’em nie wymaga przerabiania całego stosu technologicznego. Lepiej zrobić to teraz, zanim urząd regulacyjny zapyta o białą plamę w twoim triażu, a konkurencja, która już to zrobiła, odbierze ci pacjentów na nowym rynku.
- Redukcja błędów triażu w językach spoza angielskiego nawet o 60%
- Szybsza ekspansja na nowe rynki bez kosztownego zbierania danych
- Zwiększenie zaufania pacjentów i zgodność z regulacjami MDR oraz AI Act
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models
Autorzy: Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo i in.
Mixture-of-Experts (MoE) models have emerged as a dominant paradigm for efficient LLM scaling, yet adapting them to non-English downstream tasks remains challenging. Existing fine-tuning approaches treat MoE models as monolithic learners, ignoring the heterogeneous routing structure that develops…
arXiv: arxiv.org/abs/2605.28306
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
