CForce: automatyczne newsy bez wewnętrznych sprzeczności

Redakcje informacyjne produkują setki depesz dziennie, ale ręczne przepisywanie danych z tabel kosztuje czas i rodzi błędy. Generatory oparte na modelach dyfuzyjnych bywają szybkie, jednak co piąty tekst zawiera niespójność: w pierwszym akapicie stary kurs, w trzecim nowy. CForce, metoda trenowania dyfuzyjnych modeli językowych, wymusza zgodność przewidywań modelu na wczesnym etapie z tymi z etapu późnego, dzięki czemu gotowy tekst jest spójny już w jednym przebiegu.

Technologia: od równoległego odsłaniania do spójności

Dyfuzyjne modele językowe (dLLM) nie piszą tekstu słowo po słowie. W jednym kroku potrafią przewidzieć kilkadziesiąt zamaskowanych tokenów naraz, co daje dużą przepustowość. Problem w tym, że wczesne przewidywania nie zawsze się zgadzają z tym, co model odkryje później. W informacji o wynikach spółki pierwszy akapit może podać zysk 2,4 mln zł, a drugi 2,7 mln, bo maski zostały wypełnione niezgodnie w tym samym kroku.

CForce rozwiązuje to przez destylację na trajektoriach self-rollout, czyli na sekwencjach stanów wygenerowanych wcześniej przez sam model. Cel treningowy, Confidence Adaptive KL Divergence, zmusza rozkłady przewidywań z wczesnych etapów do naśladowania rozkładów z etapów późniejszych. Mówiąc prościej: model uczy się nie produkować wersji, które za chwilę sam uzna za błędne. To sprawdza się zarówno w trybie maska-token, jak i w trybie edycji, gdzie późniejsze poprawki token-do-tokenu dostarczają dodatkowego nadzoru.

Scenariusz: 300 depesz giełdowych po sesji

Weźmy serwis finansowy, który po zamknięciu GPW publikuje 300 depesz o spółkach. Dane wejściowe to tabela: ticker, kurs odniesienia, zmiana procentowa, wolumen, data publikacji raportu. W teście na 2 000 komunikatów z GPW model LLaDA 8B bez CForce przy równoległym odsłanianiu 64 tokenów na krok mylił kierunek zmiany w 21% tekstów. Po dostrojeniu CForce ten sam model, na tym samym sprzęcie, generuje spójną depeszę w 0,8 sekundy na karcie A100. Odsetek tekstów wymagających korekty spadł do 3,4%.

Co ważne, CForce nie wymaga dodatkowej pary GPU. To zmiana w sposobie trenowania, nie w architekturze. Dla redakcji oznacza to, że można uruchomić pilotaż na jednym serwerze z kartą A100 i obsłużyć całą popołudniową falę depesz bez zwiększania zespołu.

Korzyści i ROI

Przy 300 depeszach dziennie i odsetku błędów 21% redakcja musi skorygować 63 teksty. Zakładając 5 minut na korektę, to 5 godzin i 15 minut dziennie. Po CForce liczba błędnych tekstów spada do 10 dziennie, a czas korekty do 50 minut. Oszczędność to 4,5 godziny dziennie, czyli około 110 godzin miesięcznie. Przy stawce 80 zł za godzinę daje to 8 800 zł miesięcznie.

Największy zysk jest przy dużej równoległości, gdy model odsłania 64 lub 128 tokenów naraz. Wtedy przepustowość rośnie, a CForce pilnuje, żeby szybkość nie psuła jakości. To ma sens dla wydawców publikujących ponad 500 tekstów dziennie. Mniejsze redakcje, produkujące 20 depesz, odczują różnicę, ale nie tak dramatycznie.

Podsumowanie: od czego zacząć

Nie zaczynaj od pełnej automatyzacji całego newsroomu. Wybierz jeden strumień danych, na przykład komunikaty ESPI spółek z WIG20, i generuj z niego 50 depesz dziennie przez dwa tygodnie. Mierz odsetek tekstów wymagających korekty i czas akceptacji. Jeśli po pilotażu odsetek błędów spadnie poniżej 5%, skaluj do 200 depesz dziennie z trzech źródeł.

CForce nie jest remedium na wszystkie problemy redakcyjne. Nie napisze za Ciebie analizy politycznej ani reportażu śledczego. Ale tam, gdzie liczy się szybkość i zgodność z danymi, daje przewagę, której ręczny proces nie dogoni.

• Skrócenie czasu generowania jednej depeszy z 1,4 s do 0,8 s przy równoległym odsłanianiu 64 tokenów
• Spadek odsetka tekstów z błędami z 21% do 3,4% na testowym zbiorze GPW
• Redukcja dziennego czasu korekty z 5 godzin 15 minut do 50 minut przy 300 depeszach

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.