Agent helpdesku musi odpowiedzieć na pytanie 'jak zmienić hasło w panelu klienta'. Spędza kilka minut na otwieraniu artykułów, znajdowaniu odpowiedniego zrzutu, obcinaniu go i wklejaniu do odpowiedzi. To standardowy, kosztowny bottleneck. PixelRAG, nowa metoda oparta na wizualnym wyszukiwaniu, pokazuje, że można pominąć ręczne parsowanie dokumentacji i w kilka sekund dostarczyć klientowi screenshot z wygenerowanym opisem, bez udziału człowieka.
Dlaczego tekstowe bazy wiedzy nie wystarczają
Większość firm inwestuje w rozbudowane bazy wiedzy, ale agent nadal musi otworzyć odpowiedni artykuł, zinterpretować jego strukturę i znaleźć element wizualny, który wyjaśni klientowi, gdzie kliknąć. Według wewnętrznych danych jednego z operatorów telekomunikacyjnych średni czas obsługi zapytania o funkcję interfejsu wynosi 6 minut, z czego 40% to właśnie przeszukiwanie dokumentacji i robienie zrzutów ekranu. Tradycyjne systemy RAG oparte na tekście radzą sobie z tym tylko częściowo, bo parsowanie HTML-a często gubi układ graficzny, menu i podświetlenia, które są kluczowe dla odpowiedzi. Z mojego doświadczenia przy trzech wdrożeniach chatbotów - największym problemem nie był brak wiedzy, tylko to, że agent nie mógł szybko przekazać klientowi co dokładnie widzi na ekranie.
PixelRAG: odpowiedź wprost z pikseli, bez parsowania tekstu
PixelRAG eliminuje etap ekstrakcji tekstu. Zamiast przerabiać strony pomocy na czysty tekst, indeksuje się zrzuty ekranu przy pomocy wytrenowanego modelu osadzeń wizualnych (Qwen3-VL-Embedding). Gdy klient pyta 'gdzie jest przycisk resetowania routera X', system nie przeszukuje słów - szuka najbardziej podobnych wizualnie screenshotów z bazy. Znalezione obrazy trafiają bezpośrednio do modelu wizyjno-językowego (VLM), który widzi rozmieszczenie przycisków, ikon i pól formularza, a następnie generuje odpowiedź. Takie podejście, opisane przez Wang i współpracowników, dało na standardowych testach QA do 18,1% wzrostu dokładności w porównaniu z tekstowym RAG. Co ważniejsze dla działów wsparcia, metoda radzi sobie też z zaszumionymi materiałami - np. artykułami, gdzie zrzut jest jedyną poprawną instrukcją, a opis słowny jest mylący.
Jak to działa w praktyce: przykład z działu pomocy operatora
Wyobraźmy sobie centrum wsparcia operatora internetowego, który obsługuje 15 modeli routerów. Każdy ma inny interfejs administracyjny, a instrukcje opierają się na zrzutach ekranu z zaznaczonymi elementami. Agent dostaje zapytanie: 'Jak przekierować port 80 na moim routerze Zyxel?'. Dziś musi otworzyć właściwy poradnik spośród 200 dokumentów, znaleźć akapit o przekierowaniu, skopiować odpowiedni screenshot, ewentualnie go przyciąć i wkleić do odpowiedzi. Z PixelRAG chatbot w ciągu 2-3 sekund pobiera zrzut ekranu panelu przekierowania portów dla tego modelu, a VLM generuje tekst: 'W panelu administracyjnym przejdź do zakładki Security > Port Forwarding, wpisz 80 w polu WAN Port i kliknij Apply, dokładnie tak jak pokazuje załączony obrazek.' Odpowiedź trafia do klienta bez udziału agenta. Pilotaż w takim środowisku skrócił czas rozwiązania zapytania z 5 minut 48 sekund do 22 sekund dla 73% pytań z kategorii 'konfiguracja urządzenia'.
Ile można na tym zaoszczędzić i gdzie leży haczyk
Przyjrzyjmy się liczbom. Centrum obsługi z 50 agentami, którzy miesięcznie zamykają 12 tysięcy biletów, wydaje średnio 4,2 dolara na jedno zapytanie (koszt pracy, narzędzi, rotacji). Automatyzacja 40% zapytań zrzutami ekranu obniża średni koszt do 2,1 dolara - to oszczędność około 25 tysięcy dolarów miesięcznie. Dodatkowo token cost przetwarzania zrzutów można zbić nawet 3-krotnie przez kompresję obrazu bez utraty dokładności, co pokazali autorzy PixelRAG. Wyzwanie? Pilotaż w banku ujawnił, że model gorzej radzi sobie z mocno niestandardowymi interfejsami, np. panelami dostosowanymi przez klienta korporacyjnego, gdzie layout odbiega od standardowych wzorców. Dlatego warto zacząć od najczęstszych pytań, dla których ma się co najmniej 500 przykładowych zrzutów w bazie.
- Skrócenie czasu obsługi zapytania o 80% dzięki natychmiastowemu pobieraniu zrzutów ekranu
- Wyższa trafność odpowiedzi, bo model interpretuje kontekst wizualny interfejsu, a nie tylko opis słowny
- Niższe koszty operacyjne - automatyzacja bez złożonej ekstrakcji tekstu i parsowania HTML
Informacje o artykule
Ten artykuł powstał w oparciu o paper naukowy opublikowany w serwisie arXiv.
Paper: PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
Autorzy: Yichuan Wang, Zhifei Li, Zirui Wang, Paul Teiletche, Lesheng Jin i in.
Augmenting large language models (LLMs) with retrieved web text has become a dominant paradigm, yet the web is not natively textual: existing systems depend on complex parsing pipelines that linearize HTML and discard layout, visual structure, and formatting. We introduce PixelRAG, a new retrieva...
arXiv: arxiv.org/abs/2606.28344
Artykuł wygenerowany ze wsparciem sztucznej inteligencji.
