Zespół badawczy spędza średnio 23 godziny na ręcznym przeglądzie literatury dla jednego nowego celu terapeutycznego. Połowa tego czasu to mozolne sprawdzanie, czy nie przeoczono jakiejś publikacji. W jednej z firm, z którą rozmawiałem, analitycy rotowali co kwartał, bo nikt nie wytrzymywał dłużej tej monotonii. Prompt-to-Paper, system z MIT, pokazuje, że ten proces można skompresować do kilku minut, a każde twierdzenie w raporcie opiera się na zweryfikowanym cytowaniu.
Koniec z fabrykowaniem referencji
Generatywne modele językowe potrafią pisać przekonujące teksty naukowe. Problem w tym, że kłamią. Podają nieistniejące DOI, zmyślają autorów, a czasem generują wyniki eksperymentów, które nigdy nie zostały przeprowadzone. Dla zespołu R&D w farmacji to jest deal-breaker. Decyzja o wejściu w nowy cel terapeutyczny kosztuje od 2 do 5 milionów dolarów w samej fazie przedklinicznej. Nikt nie podejmie jej na podstawie halucynacji.
Prompt-to-Paper rozwiązuje to radykalnie. Zamiast polegać na wewnętrznej wiedzy modelu językowego, system używa deterministycznego pipeline'u RAG. Każde zdanie w generowanym przeglądzie literaturowym jest zakotwiczone w konkretnym artykule z korpusu 60-100 publikacji. System nie tylko wyszukuje źródła, ale też ocenia ich trafność w kontekście konkretnej sekcji raportu. Cytat do sekcji 'metody' przechodzi inną ścieżkę oceny niż ten do 'dyskusji'. Efekt? Zero cytowań spoza zakresu. W testach na pięciu przypadkach bioinformatycznych nie było ani jednego.
Scenariusz: ocena celu terapeutycznego w 8 minut
Wyobraźmy sobie poniedziałkowy poranek w dziale R&D średniej firmy biotechnologicznej. Lider zespołu dostaje zadanie: ocenić potencjał nowego celu w chorobie Alzheimera. Standardowo oznacza to trzy dni przeszukiwania PubMed, czytania abstraktów, eliminowania duplikatów i ręcznego składania narracji. Z Prompt-to-Paper wygląda to inaczej.
Naukowiec formułuje zapytanie: 'Przegląd badań przedklinicznych dotyczących białka TREM2 jako celu terapeutycznego w chorobie Alzheimera, z uwzględnieniem modeli mysich i ludzkich danych genetycznych, ostatnie 5 lat'. System w ciągu 8 minut generuje 15-stronicowy raport. Każde twierdzenie ma przypis. Sekcja 'wyniki' zawiera rzeczywiste dane liczbowe, bo agent kodujący systemu automatycznie pobiera i analizuje publicznie dostępne datasety ekspresji genów. To nie są zmyślone liczby. To są wyniki faktycznie przeprowadzonych obliczeń na prawdziwych danych.
Koszt? Około 0.31 dolara za cały raport. Przy kursie NBP to poniżej 1.30 zł. Dla porównania, godzina pracy naukowca z doktoratem to koszt rzędu 150-250 zł dla pracodawcy. Jeden raport to oszczędność rzędu 3000-5000 zł na samych kosztach pracy, nie licząc przyspieszenia decyzji.
Pętla poprawy i ośmiowymiarowa ocena jakości
To, co odróżnia ten system od prostego generowania tekstu, to pętla poprawy jakości. Prompt-to-Paper nie produkuje raportu i nie zostawia go bez sprawdzenia. Automatyczny system ocenia manuskrypt w ośmiu wymiarach: od spójności narracji, przez poprawność statystyczną, po zgodność cytowań z treścią. Jeśli wynik jest poniżej skalibrowanego progu, system uruchamia iteracyjną poprawę. Może pogłębić research, ponownie przeprowadzić eksperymenty obliczeniowe albo przegenerować cały raport z lepszymi danymi wejściowymi.
W testach ta pętla podniosła jakość raportów o prawie 18 punktów w skali 0-100. Ludzki recenzent ocenił wygenerowane manuskrypty średnio na 7.0/10. To nie jest poziom Nature, ale dla wewnętrznego dokumentu roboczego, który ma pomóc w decyzji go/no-go dla nowego celu, to jest więcej niż wystarczające. Szczególnie że dostajesz to w 8 minut, a nie w 3 dni.
Korzyści i zwrot z inwestycji
W firmie z trzema zespołami badawczymi, każdy wykonujący średnio 2 przeglądy literaturowe miesięcznie, roczna oszczędność czasu pracy to około 1700 godzin. Przy stawce 200 zł za godzinę naukowca daje to 340 000 zł rocznie. Koszt Prompt-to-Paper dla 72 raportów rocznie to mniej niż 100 zł.
Ale prawdziwy zwrot nie leży w oszczędności czasu. Leży w eliminacji błędów przeoczenia. Jeden przeoczony artykuł o toksyczności wątrobowej związku z tej samej rodziny chemicznej może kosztować firmę 50 milionów dolarów, jeśli wyjdzie w fazie II badań klinicznych zamiast w fazie przedklinicznej. System, który przeszukuje literaturę deterministycznie i nie pomija niczego, jest polisą ubezpieczeniową. I to polisą, która kosztuje grosze.
Z mojego doświadczenia z wdrożeń w dwóch firmach biotech, największą przeszkodą nie jest technologia, tylko zmiana nawyków. Naukowcy są przyzwyczajeni do ręcznego researchu i nieufni wobec automatycznych narzędzi. Dlatego kluczowe jest, żeby pierwszy miesiąc wdrożenia traktować jako okres równoległy: zespół robi przegląd ręcznie, a system generuje swoją wersję. Potem porównują. Po trzecim razie, gdy system znajduje dwie publikacje, które przeoczyli ludzie, opór znika.
- Skrócenie przeglądu literatury z 3 dni do 8 minut
- Zero halucynacji: każde twierdzenie ma zweryfikowane źródło
- Koszt poniżej 1 zł za raport przy oszczędności 3000-5000 zł na kosztach pracy
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Prompt-to-Paper: Agentic AI System for Bioinformatics
Autorzy: Ramsha Kamran, Maheera Amjad, Zartasha Mustansar, Arsalan Shaukat, Salma Sherbaz i in.
While recent advances in large language models have enabled end-to-end automated manuscript generation, existing systems suffer from three critical deficiencies: (i) generated claims are not deterministically grounded in verifiable literature, (ii) experimental results are frequently fabricated r...
arXiv: arxiv.org/abs/2607.05456
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
