Gdy rekomendacje w e-commerce napędza duży model językowy, każdy znak w prompcie przekłada się na realny koszt. W platformach obsługujących setki tysięcy zapytań dziennie, długie konteksty z historią użytkownika i szczegółowymi opisami produktów potrafią pożreć budżet w kilka tygodni. Na dodatek opóźnienia związane z wysyłaniem wielostronicowych promptów irytują klientów, którzy oczekują odpowiedzi w ułamku sekundy.
Stary dobry NLP, a nie nowa maszyna ucząca się
Zamiast dodawać kolejny model do pipeline'u, można sięgnąć po zestaw 11 prostych transformacji leksykalnych, które działały w NLP jeszcze przed erą transformerów. Usuwanie stop-słów, podmienianie słów na krótsze synonimy z WordNetu, wycinanie wypełniaczy, przycinanie przymiotników i przysłówków, lematyzacja – wszystko to razem, według publikacji z 2026 roku, potrafi zmniejszyć prompt o 40.3% przy BERTScore-F1 na poziomie 0.876. To znaczy, że odpowiedź modelu na skompresowany prompt w 9 na 10 przypadków nie różni się od tej na pełną wersję. Najbezpieczniejsza konfiguracja – tylko stop-słowa – daje 29.6% oszczędności tokenów, zachowując przy tym niemal idealną wierność (0.913).
Pipeline działa całkowicie na CPU i jest deterministyczny. Żadnego trenowania, żadnego dodatkowego opóźnienia – przetwarzanie tekstu na starych regułach to kwestia mikrosekund. W praktyce oznacza to, że możesz wpiąć kompresję bezpośrednio przed każdym wywołaniem API bez obawy o wydłużenie czasu odpowiedzi.
Scenariusz: konwersacyjny asystent zakupowy w dużej sieci
Weźmy realistyczny przykład. Sieć elektroniki użytkowej z 8 milionami SKU wdraża chatbota rekomendującego produkty na podstawie profilu klienta. Prompt budowany jest dynamicznie: ostatnie 5 przeglądanych kategorii, budżet, preferencje marek, lista 20 najlepiej pasujących produktów z atrybutami (cena, oceny, kluczowe cechy), do tego instrukcja: 'Zarekomenduj 3 produkty i uzasadnij'. Taki zestaw to średnio 1100 tokenów.
Przy ruchu na poziomie 250 tysięcy zapytań dziennie i cenie 0.15 USD za milion tokenów wejściowych w GPT-4o-mini, dzienny koszt samych promptów to 41 dolarów. W skali miesiąca – 1230 dolarów. To pieniądze, za które można już utrzymać dodatkowego junior data analysta. Po zastosowaniu łagodnej kompresji (usuwanie stop-słów i wypełniaczy) miesięczna faktura spada o jedną trzecią. Agresywniejsza konfiguracja, w której przycinamy też przymiotniki i rzadsze przysłówki, przy zachowaniu nazw własnych i parametrów technicznych (dzięki regule named-entity preservation), daje 40% oszczędności – czyli około 500 dolarów miesięcznie mniej na jednym tylko rynku.
Gdyby ta sama sieć działała globalnie i przetwarzała 5 milionów zapytań dziennie, miesięczne oszczędności na tokenach wejściowych przekroczyłyby 18 000 dolarów. A to tylko wierzchołek góry lodowej, bo dochodzą jeszcze oszczędności po stronie tokenów wyjściowych – krótszy prompt często skutkuje bardziej zwięzłą odpowiedzią.
Korzyści i twarde liczby
Z moich rozmów z zespołami wdrożeniowymi wynika, że największą wartością tej kompresji jest jej przewidywalność. Menedżer nie musi walczyć ze stochastyczną naturą modelu – wie dokładnie, które słowa zostaną usunięte. Dla e-commerce to klucz, bo można wykluczyć z kompresji atrybuty krytyczne, jak 'wodoodporny' w kategorii smartwatchy.
Wdrożenie kosztuje dzień pracy inżyniera: przygotowanie skryptu w Pythonie, podpięcie go jako middleware przed wywołaniem LLM i przetestowanie na próbce 10 tysięcy zapytań. Zwrot z inwestycji następuje w pierwszym tygodniu przy wolumenie miliona zapytań miesięcznie. To nie są oszczędności, które zmienią wynik finansowy giganta, ale warto je traktować jako darmową optymalizację – zamiast przepłacać za tokeny, możesz dokupić więcej kontekstu tam, gdzie jest naprawdę potrzebny, albo przesunąć budżet na lepszą analizę sentymentu w recenzjach.
Dodatkowy bonus: krótsze prompty rzadziej trafiają na limity długości kontekstu, więc asystent rzadziej odmawia odpowiedzi. W jednym z pilotaży, o którym słyszałem, spadek odrzuceń z powodu overflowu wyniósł 17% po włączeniu podstawowego stop-word removal.
Od czego zacząć
Jeśli twój pipeline rekomendacyjny opiera się na LLM, przetestuj kompresję leksykalną na zbiorze 2000 realnych promptów. Zacznij od najłagodniejszej wersji – tylko stop-słowa i typowe angielskie wypełniacze (w polskich promptach lista będzie inna, ale zasada ta sama). Porównaj odpowiedzi oryginalne i po kompresji. Jeśli różnice są akceptowalne, stopniowo dokręcaj śrubę, ale monitoruj wierność dla zapytań wymagających rozumowania, takich jak 'poleć coś dla 12-latka, który lubi Minecrafta i ma budżet 150 zł'. W paperze wskazano, że commonsense reasoning to pięta achillesowa – przy agresywnej kompresji gubi się subtelny kontekst.
Możesz też utrzymywać dwa poziomy kompresji: łagodny dla złożonych, kontekstowych zapytań i agresywny dla prostych poleceń typu 'znajdź najtańszy telewizor 55 cali'. To prosta reguła biznesowa, która nie wymaga dodatkowej logiki ML.
- Oszczędność 30-40% tokenów wejściowych bez istotnego spadku jakości rekomendacji
- Deterministyczna kompresja na CPU – zero dodatkowych opóźnień w real-time
- Łatwa integracja jako middleware przed API, zwrot z wdrożenia w tydzień przy milionie zapytań miesięcznie
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories
Autorzy: Shamin Chokshi
Recent advances in large language models (LLMs) have made prompts increasingly large and complex. Techniques such as chain-of-thought reasoning (Wei et al., 2022) and in-context learning (Brown et al., 2020) frequently push real-world prompts past several thousand tokens, increasing inference cos...
arXiv: arxiv.org/abs/2609.13154
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
