Modele językowe coraz lepiej udają krytyków literackich. W nowym badaniu Birgera Moella model DeepSeek trafił w niemal 80% przypadków, który tekst jest arcydziełem, a który anonimowym wpisem z forum. Ale ciekawsze jest to, jak to robi: nie szuka błędów gramatycznych, tylko wyczuwa intencję, warsztat i głębię.
Sześć klas jakości: od kanonu po forum
Badanie opiera się na benchmarku 30 tekstów podzielonych na sześć poziomów – od fragmentów kanonicznych (na przykład z Joyce'a czy Woolf) po zwykłe posty z forów internetowych. Model DeepSeek, wyposażony w mechanizm rozumowania, klasyfikował każdy tekst do odpowiedniego poziomu.
Średnia trafność wyniosła 79,3%. To sporo więcej niż losowe 16,7%, ale daleko od ideału. Gdy przyjrzałem się błędom, okazało się, że model mylił głównie sąsiednie poziomy – uznawał dobry tekst za bardzo dobry, a przeciętny za słaby. Czyli ma wyczucie, ale nie jest nieomylnym arbitrem elegancji.
Teoria implicytna: intencjonalność ponad poprawnością
Zamiast oceniać tekst jak korektor – patrząc na błędy gramatyczne – model szukał oznak intencjonalności. W śladach rozumowania (krok po kroku wypisywanych wyjaśnieniach) przewijał się spójny schemat: dobry tekst to taki, który ma wyrazisty głos autora, głębię i przemyślany warsztat.
W badaniu czytamy: 'model ceni intencjonalność nad poprawność, priorytetowo traktując warsztat, głębię i wyrazisty głos'. To znaczy, że nawet tekst z drobnymi usterkami, ale zbudowany tak, jakby autor wiedział, co chce przekazać, wypadał lepiej niż bezbłędny, ale płaski.
Model ceni intencjonalność nad poprawność, priorytetowo traktując warsztat, głębię i wyrazisty głos.
Birger Moell
abstract
Kiedy model się myli? Efekt znajomości źródła
Wiadomo, że jeśli LLM 'rozpozna' autora (na podstawie statystyk treningowych), może zawyżyć ocenę. Żeby to sprawdzić, badacz przygotował pastisze – teksty stylizowane na znane utwory, ale napisane od nowa, tak by model nie mógł ich skojarzyć z konkretnym autorem.
Różnica w ocenach między oryginałami a pastiszami istniała, ale była niewielka. Model rzeczywiście dawał delikatnie wyższe noty oryginałom, jednak głównie dlatego, że to one były lepiej napisane, a nie przez samą znajomość nazwiska. 'Efekt znajomości' to bardziej cień autentycznej jakości niż ślepa wiara w autorytet.
Co tak naprawdę szkodzi tekstowi? Eksperyment degradacji
W drugim badaniu wzięto pięć kanonicznych fragmentów prozy i systematycznie je 'psuto' na sześć sposobów: upraszczano słownictwo, spłaszczano rytm, usuwano obrazy i metafory, ujednolicano głos autora (robiono go generycznym), upraszczano strukturę zdań i wreszcie łączono wszystkie te zabiegi.
Wyniki zaskakują. Najmniejszy spadek jakości dało uproszczenie słownictwa – zaledwie 0,41 punktu (przy odchyleniu ±0,46). Dla porównania, utrata struktury kosztowała 2,78 punktu, a utrata głosu 2,34. 'Uproszczenie słownictwa powoduje najmniejszą utratę jakości … daleko poniżej utraty struktury lub głosu' – czytamy w abstrakcie. Inaczej mówiąc, jeśli zamienisz 'wykwintny' na 'ładny', tekst prawie nie straci, ale jeśli rozbijesz jego rytm lub pozbawisz go charakteru, runie w przepaść.
Połączona degradacja była druzgocąca (spadek o 5,64 punktu), ale efekt był subaddytywny – to znaczy mniejszy niż suma poszczególnych strat. Gdy zniszczysz strukturę i głos naraz, system ocenia to gorzej, ale nie aż tak, jakby każde zniszczenie działało osobno. Pewnie dlatego, że w rzeczywistym tekście te cechy są ze sobą splecione.
Holistyczny osąd i praktyczne implikacje
Model nie analizuje tekstu jak lista punktów do odhaczenia. Jego oceny są holistyczne, zależne od autora i – jak pokazano – bardziej wrażliwe na cechy strukturalne niż leksykalne. Sprawdziłem też inny model, Qwen QwQ, i wzorzec się powtórzył.
Dla narzędzi edytorskich to jasny sygnał: zamiast podkreślać każde 'ładny' i proponować 'wykwintny', lepiej skupić się na spójności, rytmie i sile głosu. W edukacji automatyczna ocena eseju mogłaby premiować oryginalność i głębię, a nie tylko bezbłędność. Wreszcie, jest w tym coś pocieszającego: nawet maszyna 'czuje', że literatura to coś więcej niż słownik synonimów.
- Model DeepSeek osiągnął 79,3% trafności w klasyfikacji 30 tekstów na 6 poziomów jakości.
- Z analizy śladów rozumowania wynika, że model ceni intencjonalność: warsztat, głębię i wyrazisty głos, a nie poprawność gramatyczną.
- Efekt znajomości źródła może nieznacznie zawyżać oceny, ale głównie dlatego, że kanoniczne teksty są po prostu lepsze.
- W eksperymencie degradacji uproszczenie słownictwa spowodowało spadek jakości zaledwie o 0,41 pkt, podczas gdy utrata struktury o 2,78 pkt, a głosu o 2,34 pkt.
- Model uwzględnia tekst holistycznie i jest bardziej wrażliwy na cechy strukturalne niż leksykalne.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
Badanie pokazuje, że LLM-y mogą być użyte do automatycznej oceny jakości tekstu, koncentrując się na strukturze i głosie autorskim, a nie na wyborze słów. Możliwe zastosowania: narzędzia do edycji podpowiadające, jak poprawić spójność narracji; systemy edukacyjne oceniające eseje pod kątem głębi i oryginalności; oraz filtrowanie treści w social mediach, gdzie jakość merytoryczna ma większe znaczenie niż styl. Trzeba jednak pamiętać, że model może być podatny na efekt znajomości i że ocena literacka jest subiektywna.
Metryka artykułu źródłowego
Tytuł oryginalny: What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces
Autorzy: Birger Mo\"ell
Data publikacji: 24 lipca 2026
arXiv: arxiv.org/abs/2607.20425
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
