Redakcyjny sprint – jak generować artykuły z depesz w pół sekundy

Każdy redaktor naczelny zna ten moment: agencja puszcza depeszę o poważnym wypadku w centrum miasta, a w newsroomie nikt nie ma czasu przygotować szybkiej notki. Publikacja opóźnia się, portal konkurencji już ma newsa, a czytelnicy odchodzą. Technologia, która może odwrócić te proporcje, właśnie pojawiła się w otwartym dostępie.

Czym jest DiffusionGemma i dlaczego pisanie nagle przyspiesza

Standardowe modele językowe, jak GPT, generują tekst token po tokenie. Każdy krok czeka na poprzedni, co przy dłuższych tekstach zamienia się w sekundy oczekiwania. DiffusionGemma działa inaczej. Przetwarza bloki 256 tokenów równolegle, a potem iteracyjnie je ulepsza, jakby rzeźbił cały akapit na raz. Efekt? 1500 tokenów na sekundę na jednym GPU NVIDIA H100. Dla porównania, najszybsze modele autoregresyjne, nawet ze spekulacyjnym dekodowaniem, rzadko przekraczają 300 tokenów na sekundę.

Model powstał przez dostrojenie Gemma 4 (3.8 miliarda aktywnych parametrów) w dwuetapowym procesie, który zużył mniej niż 10% budżetu treningowego oryginału. Zachował przy tym obsługę wejść multimodalnych, tryb myślenia i długie konteksty. W praktyce oznacza to, że można mu podać zdjęcie razem z tekstem, a on wygeneruje opis obrazka w tym samym przebiegu, bez dodatkowego wywołania API.

Scenariusz: depesza o 15:32

Wyobraź sobie newsroom dużego portalu. Godzina 15:32. Do systemu wpływa alarm z agencji Reuters: zawalenie się budynku na przedmieściach Mumbaiu, są ranni. Do tekstu dołączone jest zdjęcie z miejsca zdarzenia. Sześć sekund później edytor w panelu redakcyjnym widzi propozycję artykułu na 500 słów, trzy wersje nagłówka, dwie propozycje postów na Facebooka i Twittera, oraz automatycznie wygenerowany podpis pod zdjęciem wraz z jego słownym opisem dla czytników ekranu.

Całość trwała poniżej pół sekundy czystego czasu generowania. Resztę pochłonęło przesłanie danych i uruchomienie potoku, ale prędkość i tak pozwala przejść od depeszy do publikacji w 2-3 minuty, z czego 90% to praca człowieka nad weryfikacją faktów i dostosowaniem tonu. Redakcja publikuje newsa jako pierwsza, jeszcze zanim konkurencja skończy pisać lead.

Koszty, ryzyko i powody do ostrożności

GPU H100 kosztuje w chmurze około 2-3 dolary za godzinę, ale przy 200 takich newsach dziennie zużycie obliczeniowe to kwestia sekund. Koszt jednostkowy jest pomijalny, zwłaszcza gdy zestawi się go z oszczędnością czasu dziennikarzy. Według rozmów z dwoma redakcjami w Polsce, przygotowanie przeciętnego newsa z depeszy – od weryfikacji, przez napisanie, po dodanie multimediów – zajmuje średnio 15-20 minut. Skrócenie tego do 2-3 minut oznacza odzyskanie kilkudziesięciu roboczogodzin tygodniowo.

Ryzyko jakości jest realne. Modele dyfuzyjne potrafią generować płynny, ale czasem niespójny tekst. Dlatego DiffusionGemma zachował możliwość przełączenia na tryb autoregresyjny – wolniejszy, ale precyzyjniejszy w przypadku danych liczbowych i nazw własnych. W pilotażu warto używać go jako pierwszej wersji dla ruchu na stronie, a dla tematów wrażliwych wymuszać tryb jakości. Żaden system nie zastąpi redaktora, który potwierdzi fakty w dwóch źródłach.

Jak zacząć? Nie od razu na żywo

Z mojego doświadczenia z wdrożeniami w mediach wynika, że najbezpieczniej wystartować od strumienia wyników sportowych albo komunikatów giełdowych. To treści powtarzalne, o wysokiej częstotliwości, gdzie szybkość wygrywa, a konsekwencje błędu są niskie. Po dwóch tygodniach testów redakcja ma dane, jaki odsetek automatycznych szkiców trafia do publikacji bez poważnych poprawek. Potem można rozszerzać na newsy z kategorii krajowej, a dopiero na końcu na politykę międzynarodową.

Model jest dostępny z otwartymi wagami, więc można go uruchomić na własnej infrastrukturze albo przez API. W obu przypadkach kluczowe jest przygotowanie szablonów promptów, które wymuszą na modelu strukturę agencji prasowej: suchy lead, rozwinięcie, cytat, tło. Bez tego wygenerowany tekst będzie za długi albo za krótki.

Podsumowanie: nie czekaj, aż konkurencja cię wyprzedzi

Technologia, która zamienia depeszę w gotowy szkic w pół sekundy, jeszcze rok temu była nie do pomyślenia. Teraz jest na GitHubie. Pierwsi wydawcy, którzy wdrożą DiffusionGemma, zyskają przewagę w szybkości publikacji, którą trudno będzie odrobić. Nie chodzi o zastąpienie dziennikarzy, ale o odciążenie ich z najbardziej mechanicznej części pracy – przepisywania agencji na język własnego portalu. Sądzę, że każda redakcja z ambicjami bycia pierwszym źródłem informacji powinna dać temu modelowi dwa tygodnie pilotażu na jednym strumieniu newsowym. Wyniki zaskoczą nawet sceptyków.

• Skrócenie czasu pierwszej wersji z minut do ułamka sekundy
• Równoległe generowanie tekstu, nagłówka i podpisów do zdjęć
• Możliwość przełączenia na tryb autoregresyjny dla wyższej jakości
• Obsługa multimediów w jednym przebiegu generowania

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.