Wszyscy znamy ten charakterystyczny styl: mnóstwo ‘podsumowując’, wyliczeń w punktach i prawie żadnych średników. Nowe badanie Rohan Mahapatra pokazuje, że to wina nie dostrajania, ale samego pretreningu. Co więcej, da się to naprawić zanim model w ogóle zobaczy dane.
Skąd ten styl? Systematyczne zniekształcenie
Badanie przeanalizowało 17 modeli, od 410 milionów do ponad 100 miliardów parametrów, mierząc, jak często używają one 24 cech stylistycznych w porównaniu z ludzkim korpusem treningowym. Wyniki są szokujące: średnio nagłówki pojawiają się 16 853% częściej niż u ludzi, a w skrajnym przypadku model OLMo-2-Instruct wyświetlił je aż 209 675% częściej. Z drugiej strony, średniki i myślniki są tłumione, przy czym tych pierwszych jest tylko 3,2% oczekiwanej liczby.
To nie drobne odstępstwa, a systematyczny rozpad stylu. Autor wprowadza prosty wskaźnik – współczynnik amplifikacji: jeśli model używa czegoś 10 razy częściej niż ludzie, współczynnik wynosi 10. Już przy wartości powyżej 1,1 cechę uznaje się za istotnie odchyloną. Okazuje się, że średnio 83% cech przekracza ten próg, a część robi to w spektakularny sposób: znaczniki ‘in conclusion’ (+5 048%), ‘delve into’ (+3 660%), czy listy numerowane (+1 949%).
Czy winowajcą jest dostrajanie?
Powszechnie sądzi się, że to instruowanie i RLHF nadają modelom ten sztywny, formalny ton. Jednak porównanie bazowych wersji z instruowanymi nie wykazało statystycznie istotnych różnic (p > 0,25). Mahapatra pisze wprost: ‘Rozbieżność stylistyczna jest statystycznie nieodróżnialna we wszystkich czterech parach modeli bazowych i instruowanych’.
Oznacza to, że ‘głos AI’ rodzi się już podczas pretreningu, a nie w fazie dostosowywania do zadań. To zaskakujące – spodziewaliśmy się, że to właśnie uczenie ze wzmocnieniem z informacją zwrotną wypacza styl, a tu okazuje się, że nie. Problem jest głębiej, w samym sercu uczenia modelu.
Rozbieżność stylistyczna jest statystycznie nieodróżnialna we wszystkich czterech parach modeli bazowych i instruowanych (p > 0,25), co sugeruje, że dostrajanie ani nie tworzy, ani nie wzmacnia opisanego przez nas kolapsu rozkładu.
Rohan Mahapatra
Sekcja 2, Prace pokrewne
Pułapki kontekstu i pętle absorpcyjne
Skąd więc ta różnica? Autor proponuje mechanizm: w treningu model widzi różnorodne style, od luźnych czatów po prace naukowe. Kiedy jednak użytkownik pyta go o wyjaśnienie, aktywuje się kontekst formalny, ekspozycyjny. To tak, jakby muzyk grający na co dzień jazz nagle występował tylko na galowych uroczystościach – zaczyna grać sztywne marsze.
W dodatku pewne elementy, jak nagłówek czy lista numerowana, raz użyte, silnie przyciągają kolejne podobne struktury. To stany absorpcyjne – niskoentropowe punkty, z których model nie potrafi wyjść. Kiedy już napisze ‘1.’, z dużym prawdopodobieństwem wygeneruje ‘2.’, potem ‘3.’, aż zamieni odpowiedź w monotonny wykaz. Efekt ten wzmacnia sam siebie, tworząc pętlę zwrotną i prowadząc do skrajnej amplifikacji.
Lekarstwo: entropia kontra pewność siebie
Mahapatra sprawdził, czy da się temu zaradzić, dodając do funkcji straty karę za zbytnią pewność siebie – tzw. regularyzację entropii. Im model bardziej rozkłada prawdopodobieństwa, tym bardziej różnorodne teksty generuje. Eksperymenty na modelu Pythia-410M pokazały, że słaba regularyzacja (λ=1,0) pogarsza sprawę o 240%, natomiast silna (λ=5,0) przynosi 40,5% poprawy i znacznie większą różnorodność (o 15% wyższy wskaźnik distinct-4).
Autor nazywa to zasadą siły kontroli: ‘Zasada siły kontroli nie jest wyłącznie praktycznym odkryciem, ale ostrzeżeniem, że problemy dystrybucyjne reagują nieliniowo na korekty’. Innymi słowy, półśrodki tu nie wystarczą. Trzeba odważnie zwiększyć współczynnik, aby uzyskać jakikolwiek pozytywny efekt.
Wielkość modelu nie ratuje
Czy wystarczy większa sieć, żeby wygładzić styl? Okazuje się, że nie. Mahapatra znalazł słabą korelację między liczbą parametrów a rozbieżnością (ρ Spearmana = 0,21, p = 0,49). Co więcej, jego 410‑milionowy model, ale z silną regularyzacją (λ=5,0), przewyższał modele frontowe, takie jak GPT-4o-mini, Claude-Haiku czy Gemini-Flash, w dopasowaniu stylistycznym o 96,7 do 98,2%.
Cytując autora: ‘Skala tego nie rozwiązuje: modele frontowe wciąż wykazują średnie wzmocnienie rzędu od 782 do 1329%, a wielkość modelu słabo koreluje z wielkością rozbieżności (ρ Spearmana = 0,21, p = 0,49), co sugeruje, że procedury treningowe mają większe znaczenie niż pojemność modelu’. To mocny argument za inwestowaniem w lepsze przepisy treningowe, a nie wyłącznie w większe klastry GPU.
- Nagłówki i listy są przeciętnie 16-krotnie częstsze, a w skrajnych przypadkach nawet 2000 razy częstsze niż w tekście ludzkim.
- Średniki i myślniki są prawie całkowicie tłumione (do 3,2% oczekiwanej częstotliwości).
- Dostrajanie instruowaniem nie pogarsza sytuacji – wzorce rozbieżności są statystycznie tożsame z modelami bazowymi.
- Silna regularyzacja entropii (λ=5,0) redukuje rozbieżność o 40,5% i zwiększa różnorodność tekstu o 15%.
- Mały model (410M parametrów) z odpowiednim pretreningiem przewyższa komercyjne API w naturalności stylu o ponad 96%.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Dla firm wykorzystujących generatywną AI do produkcji treści oznacza to, że nawet przy ograniczonym budżecie można uzyskać naturalniejszy język – wystarczy poprawnie ustawić funkcję straty już na etapie pretreningu. Twórcy narzędzi do wykrywania AI mogą z kolei opierać się na tych samych wzorcach amplifikacji, ale tylko do momentu, gdy modele przestaną je generować. Dla osób czyszczących dane treningowe płynie ostrzeżenie: teksty wygenerowane przez AI i wrzucone z powrotem do puli treningowej wzmacniają te same koleiny, przyspieszając językowy dryf.
Metryka artykułu źródłowego
Tytuł oryginalny: From Context Shift to Stylistic Collapse: Why Training Objectives Matter More Than Scale
Autorzy: Rohan Mahapatra
Data publikacji: 29 maja 2026
arXiv: arxiv.org/abs/2605.28826
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
