Wyobraź sobie, że zamiast czytać kod źródłowy strony, po prostu na nią patrzysz. PixelRAG robi dokładnie to: zamiast mozolnie wyciągać tekst z HTML-a, uczy się rozumieć strony www jako obrazy. To proste przesunięcie daje zaskakująco dobre wyniki, przeskakując dotychczasowe metody o kilkanaście procent.
Jak to działa?
Podstawowa idea jest banalna. Zamiast przetwarzać surowy HTML, usuwać znaczniki, radzić sobie z nieuporządkowanym układem, PixelRAG robi zrzut ekranu strony i zapisuje go jako obraz. Tych obrazów jest w indeksie 30 milionów, wszystkie z Wikipedii. Do wyszukiwania użyto modelu Qwen3-VL-Embedding, który został dotrenowany na parach podobnych i niepodobnych zrzutów. Dzięki temu rozumie on wizualne podobieństwo między pytaniem a zawartością ekranu. To trochę jak bibliotekarz, który zamiast czytać książki, szuka ich po okładce - tylko że tu okładka to cała zawartość strony.
Gdy pada pytanie, system przekształca je na embedding wizyjny i porównuje z bazą zrzutów. Wybiera kilka najbardziej pasujących, a następnie pokazuje je modelowi wizyjno-językowemu, który łączy obraz i tekst pytania, by wygenerować odpowiedź. Żadnego parsowania, żadnego czyszczenia danych, tylko obrazy.
Wyniki, które dają do myślenia
PixelRAG przetestowano na wielu zestawach danych. W klasycznych zadaniach odpowiedzi na pytania ogólne, takich jak Natural Questions i SimpleQA, uzyskał wyniki lepsze od RAG opartego na tekście o 18,1 punktu procentowego. To sporo, zważywszy, że mówimy o tych samych benchmarkach, na których od lat trenuje się modele językowe.
Uzyskana przewaga nie znika w trudniejszych warunkach. W pytaniach wielomodalnych (MMSearch), hałaśliwych korpusach (LiveVQA) i testach agentowych (MoNaCo) PixelRAG również wyprzedza tekstowe odpowiedniki. PixelRAG dobrze radzi sobie zarówno z prostymi faktami, jak i z kontekstami, w których czysty tekst gubi się w szumie.
Interesującym odkryciem jest też to, że można kompresować obrazy, by zmniejszyć koszt tokenów nawet trzykrotnie, a dokładność prawie nie spada. Dla każdego, kto patrzy na rachunki za API, to istotna wiadomość.
Nasze wyniki podważają konieczność reprezentacji tekstowych w wyszukiwaniu informacji w sieci, sugerując, że RAG może działać bezpośrednio w natywnej wizualnej formie stron, poprawiając przy tym zarówno skuteczność, jak i efektywność.
Yichuan Wang i współpracownicy
arXiv:2606.28344
Dlaczego warto patrzeć, zamiast czytać?
Wyciąganie tekstu ze stron www nigdy nie jest idealne. Tabele rozjeżdżają się, nagłówki gubią hierarchię, obrazy i wykresy w ogóle znikają z reprezentacji. Nawet najlepszy parser nie odda układu, który dla człowieka jest naturalny. PixelRAG bierze całość: układ, kolory, podkreślenia, wszystko co pomaga zrozumieć kontekst.
Jak mówią sami autorzy: 'Nasze wyniki podważają konieczność reprezentacji tekstowych w wyszukiwaniu informacji w sieci, sugerując, że RAG może działać bezpośrednio w natywnej wizualnej formie stron, poprawiając przy tym zarówno skuteczność, jak i efektywność.' To odważna teza, ale poparta solidnymi danymi.
Praktycznie, eliminując cały pipeline ekstrakcji tekstu, pozbywamy się wielu potencjalnych źródeł błędów. I okazuje się, że model wizyjny jest w stanie samodzielnie odczytać potrzebne informacje ze zrzutu ekranu równie sprawnie, jak z czystego tekstu, a czasem lepiej.
Od laboratorium do firmy
PixelRAG nie jest tylko akademicką ciekawostką. Architektura oparta na obrazach pasuje do wielu biznesowych problemów. Działy obsługi klienta, które muszą odpowiedzieć na pytanie na podstawie strony produktu, mogą pominąć etap skrobania danych i po prostu pokazać modelowi, jak ta strona wygląda. To samo dotyczy systemów zarządzania wiedzą korporacyjną, gdzie dokumenty często są PDF-ami z tabelkami i wykresami, a ich konwersja do tekstu jest koszmarem.
W branży e-commerce, gdzie layout strony i zdjęcia mają znaczenie, odpowiedź na pytanie 'czy ten produkt ma certyfikat bezpieczeństwa' może bazować na wizualnej analizie całej karty produktu, łącznie z ikonkami i pieczątkami. PixelRAG daje taką możliwość bez budowania skomplikowanych parserów.
Skalowanie do 30 milionów obrazów wymaga infrastruktury, ale spadek kosztów przechowywania i fakt, że GPU radzą sobie coraz lepiej z obrazami, sprawiają, że to podejście staje się coraz bardziej realne. A możliwość trzykrotnego zmniejszenia zużycia tokenów przez kompresję obrazu pokazuje, że autorzy myśleli też o portfelu użytkownika.
- PixelRAG używa zrzutów ekranu stron zamiast ekstrakcji tekstu, podając je bezpośrednio modelowi wizyjno-językowemu.
- W testach na ogólnych pytaniach (Natural Questions, SimpleQA) uzyskał dokładność wyższą o 18,1 punktu procentowego od RAG opartego na tekście.
- Dobrze radzi sobie w zadaniach wielomodalnych, z hałaśliwymi danymi informacyjnymi oraz w scenariuszach agentowych.
- PixelRAG opiera się na dotrenowanym wizyjnym modelu embeddingowym Qwen3-VL-Embedding, który uczy się odróżniać podobne zrzuty ekranu za pomocą treningu kontrastywnego.
- Kompresja obrazu pozwala obniżyć koszt tokenów nawet trzykrotnie przy niewielkim spadku dokładności.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
PixelRAG pokazuje, że w wielu zadaniach lepiej patrzeć niż czytać. Dla firm oznacza to możliwość budowy systemów, które odpowiadają na pytania klientów, analizując wygląd stron produktów, dokumentów czy raportów bez żmudnego czyszczenia danych. Dziedziny takie jak e-commerce, obsługa prawna i zarządzanie wiedzą korporacyjną mogą skorzystać na prostocie i wydajności tego podejścia.
Metryka artykułu źródłowego
Tytuł oryginalny: PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
Autorzy: Yichuan Wang, Zhifei Li, Zirui Wang, Paul Teiletche, Lesheng Jin, Matei Zaharia, Joseph E. Gonzalez, Sewon Min
Data publikacji: 30 czerwca 2026
arXiv: arxiv.org/abs/2606.28344
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
