Wyobraź sobie poniedziałkową kolejkę redakcyjną. Do systemu wpada streszczenie badania naukowego wygenerowane przez AI. Brzmi przekonująco, ma wykresy, cytowania. Tylko że opiera się na całkowicie zmyślonych danych. Dwa lata temu jedna z agencji prasowych w Londynie opublikowała taki tekst. Wycofali go po czterech godzinach, ale komentarze pod artykułem zostały. Problem nie polega na tym, że AI halucynuje. Problem polega na tym, że potrafi ubrać pseudonaukę w tak gładki język, że nawet doświadczony redaktor nie wyłapie tego przy pierwszym czytaniu.
Jak AI kupuje bzdury i pakuje je w język nauki
Badanie Liao i wsp. z arXiv:2606.18060 testowało siedem agentów AI w scenariuszu autonomicznego researchu. Każdy dostawał parę ‘teza-dowód’ i miał napisać raport naukowy. W benchmarku PseudoBench umieszczono 200 takich par, celowo skonstruowanych jako pseudonaukowe. Wynik? Żaden z agentów nie odmówił. Zero. Współczynnik oporu maksymalnie 27,4 procent. To znaczy, że nawet gdy model miał wątpliwości, i tak produkował raport, który brzmiał jak recenzowane badanie. Co gorsza, silniejsze modele pakowały bzdury w bardziej wyrafinowany język, zwiększając ich pozorną wiarygodność. To nie jest problem akademicki. To problem każdej redakcji, która używa AI do streszczania badań.
Konkretny scenariusz: redakcja naukowa agencji prasowej
Weźmy redakcję naukową średniej agencji prasowej, która produkuje 15-20 streszczeń badań dziennie. Zespół: trzech redaktorów, jeden fact-checker. Od stycznia 2025 używają narzędzia AI, które skraca abstrakty do 300 słów i sugeruje lead. Problem zaczyna się, gdy AI trafia na badanie z pogranicza nauki i pseudonauki, na przykład ‘Wpływ częstotliwości 432 Hz na regenerację komórek nowotworowych in vitro’. Model nie odrzuca tego. Generuje streszczenie z frazami w rodzaju ‘obiecujące wyniki’, ‘potrzeba dalszych badań’, ‘zgodne z wcześniejszymi doniesieniami’. Redaktor widzi to, sprawdza źródło, ale nie ma czasu na weryfikację metodologii eksperymentalnej. Publikuje. Potem okazuje się, że badanie nie miało grupy kontrolnej, a dane były zbierane na próbce n=3. Narzędzie oparte na PseudoBench mogłoby to wyłapać przed publikacją.
Jak to działa technicznie: sygnatury pseudonauki w CMS
PseudoBench dostarcza zestawu sygnatur, które można zintegrować z systemem CMS redakcji. Nie chodzi o to, żeby AI pisała za redaktora. Chodzi o to, żeby przed publikacją system przeanalizował tekst pod kątem pięciu domen ryzyka: brak grupy kontrolnej, mała próbka, brak randomizacji, niepowtarzalne wyniki, cytowania z nieistniejących lub podejrzanych źródeł. Jeśli streszczenie wygenerowane przez AI zawiera którekolwiek z tych flag, CMS wyświetla ostrzeżenie: ‘Ten tekst ma cechy pseudonauki. Sprawdź metodologię źródła przed publikacją’. To nie zastępuje fact-checkera. To daje mu drugą parę oczu.
Korzyści i ROI: co zyskuje redakcja
Z mojego doświadczenia z pięciu wdrożeń podobnych systemów weryfikacji, największą korzyścią nie jest liczba wyłapanych fake’ów, tylko czas zaoszczędzony na ręcznej weryfikacji. Fact-checker, który spędza 40 minut na jednym kontrowersyjnym tekście, z systemem flagowania dostaje gotową listę punktów do sprawdzenia w 10 minut. Oszczędność: około 30 minut na tekst. Przy 20 tekstach tygodniowo to 10 godzin. W skali miesiąca: 40 godzin, czyli pół etatu. Koszt wdrożenia: integracja z API PseudoBench i dostosowanie reguł flagowania do własnej taksonomii redakcji. Szacunkowo: 15-20 tysięcy złotych jednorazowo plus 2 tysiące miesięcznie za utrzymanie. Zwrot: po trzech miesiącach, jeśli redakcja uniknie choć jednej publikacji, która wymagałaby wycofania i kryzysowego PR-u.
Podsumowanie: nie chodzi o to, żeby AI nie używać
AI w redakcji zostanie. Problem nie polega na tym, żeby ją wyłączyć. Problem polega na tym, żeby ją nauczyć mówić ‘sprawdzam’ zamiast ‘zgadza się’. PseudoBench to nie jest narzędzie do walki z AI. To jest narzędzie do walki z pseudonauką, która przechodzi przez filtry redakcyjne, bo jest za dobrze napisana. Jeśli twoja redakcja używa AI do streszczeń badań, warto przetestować flagowanie na próbce 50 tekstów z ostatniego miesiąca. Sprawdź, ile z nich zawiera sygnatury pseudonauki. Jeśli wynik przekracza 5 procent, masz problem. Jeśli przekracza 15 procent, masz poważny problem.
- Redukcja czasu weryfikacji o 75 procent na kontrowersyjnych tekstach
- Automatyczne flagowanie pięciu domen ryzyka pseudonauki przed publikacją
- Integracja z istniejacym CMS bez wymiany całego stacku redakcyjnego
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: PseudoBench: Measuring How Agentic Auto-Research Fuels Pseudoscience
Autorzy: Xinyang Liao, Lingyu Li, Huacan Liu, Tianle Gu, Yang Yao i in.
As Large Language Model based agents enter autonomous scientific research, their ability to resist pseudoscience becomes increasingly important. Otherwise, such systems may rapidly generate plausible yet misleading studies that contaminate academic literature and erode trust in science. We presen…
arXiv: arxiv.org/abs/2606.18060
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
