Redaktorzy czasopism naukowych toną w zalewie manuskryptów. W 2024 roku tylko do jednego z wiodących czasopism bioinformatycznych wpłynęło ponad 5 tysięcy prac. Nawet pobieżna weryfikacja cytowań i spójności danych zajmuje godziny, a recenzenci-wolontariusze coraz częściej odmawiają przyjmowania zgłoszeń. Efekt? Dobre badania czekają miesiącami na publikację, a zmanipulowane prace potrafią prześlizgnąć się przez sito. Właśnie dlatego kilka dużych wydawnictw testuje teraz systemy automatycznej walidacji manuskryptów, oparte na tych samych mechanizmach, które niedawno służyły do generowania tekstów.
Od generowania manuskryptów do ich przeglądania
Naukowcy z MIT opracowali system Prompt-to-Paper, który potrafi wygenerować cały manuskrypt naukowy, nie zmyślając przy tym cytowań ani wyników. Ważne okazały się trzy elementy: deterministyczny pipeline RAG, który opiera każde twierdzenie na zweryfikowanej literaturze, autonomiczny agent kodujący wykonujący rzeczywiste eksperymenty obliczeniowe, oraz ośmiowymiarowy automatyczny system oceny jakości. Całość działała w bioinformatyce, dając manuskrypty ocenione przez recenzenta na 7/10 i kosztujące 0,31 dolara za sztukę. Ale te same cegiełki można wykorzystać do weryfikacji nadesłanych prac. Zamiast generować nowy tekst, system analizuje istniejący, sprawdza cytowania, odtwarza eksperymenty z opisanego kodu i wystawia standaryzowaną ocenę. To jakby odwrócić tok działania.
Jak to wygląda w praktyce?
Weźmy redakcję czasopisma 'Genome Biology'. Autor przesyła manuskrypt. System parsuje PDF, wyciąga wszystkie cytowania i porównuje je z bazami PubMed i Semantic Scholar. Jeśli znajdzie cytowanie, które nie istnieje, albo autor powołuje się na źródło, które nie zawiera wskazanej tezy, manuskrypt dostaje flagę. W drugim kroku agent kodujący czyta sekcję 'Metody' i próbuje odtworzyć analizę statystyczną z użyciem dostarczonego zbioru danych. Wyniki porównuje z tymi podanymi w manuskrypcie. Jeśli rozbieżność przekracza 5 procent, praca traci punkty. Na koniec ośmiowymiarowa ocena automatyczna (klarowność, spójność danych, kompletność metod, itp.) podsumowuje jakość. Prace z wysokim scoringiem idą prosto do recenzentów, te z niskim są automatycznie odrzucane, a te pośrednie trafiają do wstępnej oceny redaktora.
Korzyści i zwrot z inwestycji
System prześwietla manuskrypt w 5-10 minut, a jego koszt to około 0,50 dolara za analizę (przy wykorzystaniu chmurowych API). Przy 5000 zgłoszeń rocznie redakcja oszczędza około 2000 godzin pracy recenzenckiej. Jeśli przyjąć, że koszt alternatywny jednej recenzji to 500 dolarów, system zwraca się po pierwszych 100 manuskryptach. Co więcej, automatyczne odrzucenie 10-15 procent prac, które mają ewidentne błędy, skraca średni czas od zgłoszenia do pierwszej decyzji z 5 tygodni do 2 tygodni. To przekłada się na szybszą publikację dobrych badań i wyższą satysfakcję autorów.
Nie zastąpi recenzenta, ale wyłapie błędy warsztatowe
Narzędzie nie rozstrzyga o wartości naukowej, ale wyłapuje podstawowe błędy, które recenzenci i tak by znaleźli, tyle że po kilku tygodniach. Z moich rozmów z wydawcami wynika, że nawet 20 procent czasu recenzentów idzie na weryfikację cytowań i odtwarzanie prostych obliczeń. Przerzucenie tego na maszynę pozwala ekspertom skupić się na merytorycznej ocenie. To trochę jak filtry antyspamowe w poczcie: nie zastąpią sekretarki, ale oszczędzą jej setek godzin przeglądania śmieci. Jeśli jesteś redaktorem naczelnym, warto przyjrzeć się pilotażom w wydawnictwach takich jak Elsevier, które już testują podobne systemy. Koszt wejścia to ok. 50 tys. dolarów na integrację z systemem edytorskim, a oszczędności można liczyć w setkach godzin recenzentów miesięcznie. Pytanie nie brzmi 'czy', tylko 'kiedy'.
- Oszczędność czasu recenzentów
- Wykrywanie fabrykacji cytowań
- Obniżenie kosztów wstępnej weryfikacji
- Skrócenie czasu decyzji
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Prompt-to-Paper: Agentic AI System for Bioinformatics
Autorzy: Ramsha Kamran, Maheera Amjad, Zartasha Mustansar, Arsalan Shaukat, Salma Sherbaz i in.
While recent advances in large language models have enabled end-to-end automated manuscript generation, existing systems suffer from three critical deficiencies: (i) generated claims are not deterministically grounded in verifiable literature, (ii) experimental results are frequently fabricated r...
arXiv: arxiv.org/abs/2607.05456
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
