Wyobraź sobie robota, który ma posprzątać stół, ale nie wie jak. Przez pierwsze sto prób przypadkowo macha ramieniem i dostaje zero punktów. Zanim się czegokolwiek nauczy, bateria się wyczerpie. Inżynierowie z MIT i NVIDIA znaleźli na to sposób: zamiast dodawać losowego szumu do ruchów robota, zmieniają instrukcję słowną, którą dostaje na start. Ta drobna różnica – globalna zmiana zamiast lokalnych wahań – sprawia, że nauka rusza z miejsca nawet wtedy, gdy na początku nie ma żadnej nagrody.
Dlaczego szum w akcjach nie wystarcza
W uczeniu ze wzmocnieniem (RL) eksploracja to odwieczny problem. Agent uczy się metodą prób i błędów, ale jeśli na początku tylko powtarza swoje słabe zachowania, nigdy nie odkryje niczego lepszego. Standardowa recepta to dodanie szumu do akcji – agent od czasu do czasu wykonuje lekko zmienione ruchy, licząc, że któryś okaże się trafiony. Tyle że to działa tylko lokalnie, robot przesuwa ramię trochę bardziej w lewo, trochę wyżej, ale nie zmienia całej strategii. Kiedy polityka jest zupełnie do niczego, lokalne wariacje nie wystarczą. Potrzeba globalnego wstrząsu.
Pomyśl o kucharzu, który ciągle przypala zupę. Jeśli tylko zmienia temperaturę o kilka stopni w tę czy w tamtą, może nigdy nie wpaść na pomysł, żeby dodać więcej wody albo zmniejszyć ogień na samym początku gotowania. Czasami trzeba przeczytać przepis od nowa i spróbować zupełnie innego podejścia. Właśnie tę intuicję wykorzystuje Prompt-Driven Exploration (PDE).
Prompt jako sterownica globalnych zmian
Coraz więcej robotów sterowanych jest modelami typu VLA (Vision-Language-Action). Takie modele biorą na wejściu obraz z kamery i instrukcję w języku naturalnym – prompt – i na tej podstawie generują sekwencję ruchów. Prompt działa tu jak pokrętło zmieniające całe zachowanie, 'podnieś niebieski klocek' to jedna polityka, 'ułóż wieżę z czterech klocków' to zupełnie inna. Zmiana promptu wywołuje globalną perturbację, nieosiągalną przez zwykły szum na poziomie pojedynczych akcji.
Zespół Jiang i współpracowników zauważył, że jeśli nie mamy pojęcia, jaki prompt doprowadzi do sukcesu, możemy potraktować przestrzeń promptów jako miejsce do eksploracji. I tak zamiast generować losowe odchylenia od obecnego zachowania, możemy zaproponować zupełnie nową instrukcję, która skieruje robota w inną część przestrzeni stanów. 'Eksploracja jest niezbędna w RL, ponieważ polityka nie może się poprawić, powtarzając w kółko te same zachowania, które już preferuje' – piszą autorzy. W PDE to właśnie prompt staje się dźwignią zmiany.
Eksploracja jest niezbędna w RL, ponieważ polityka nie może się poprawić, powtarzając w kółko te same zachowania, które już preferuje.
Sunshine Jiang i in.
arXiv:2607.08837, abstrakt
VLM patrzy i podpowiada – pętla PDE
Mechanizm PDE jest zaskakująco prosty. Polityka (np. model VLA) wykonuje rollout, czyli serię ruchów w symulacji, kierując się aktualnym promptem. Nagranie wideo z tego rolloutu trafia do modelu VLM (Vision-Language Model), który ogląda, co robot zrobił, i diagnozuje problem. Na przykład, 'Robot sięgnął po klocek, ale zrzucił go ze stołu'. Na tej podstawie VLM przepisuje prompt, sugerując inne podejście: 'Tym razem chwyć klocek powoli i odłóż go na miejsce bez upuszczania'.
Nowy prompt wraca do polityki i cykl się powtarza. To właśnie realizuje klasyczną ideę próbkowania a posteriori, tyle że na poziomie języka, a nie parametrów sieci. 'Ta procedura realizuje próbkowanie a posteriori, klasyczną ramę eksploracji w RL, na poziomie promptów' – podkreślają badacze. Przyznam, że gdy pierwszy raz przeczytałem opis tej pętli, wydała mi się naiwnie prosta, ale wyniki mówią same za siebie.
Z zerową nagrodą na starcie? To działa
Wielu praktyków RL wie, że start od zera to najgorszy scenariusz. Jeśli pierwsze dziesięć rolloutów nie daje żadnego sygnału nagrody, gradient po prostu nie ma się z czego uczyć. PDE radzi sobie z tym bez żadnych demonstracji czy gęstej funkcji nagrody. VLM patrzy na nieudany film i potrafi zaproponować sensowną zmianę, nawet gdy wcześniejsze próby to kompletne porażki.
W testach na zadaniach manipulacji i rozumowania metoda znacząco poprawiła efektywność próbkowania. Tam, gdzie zwykły szum akcji grzęznął w losowych ruchach, PDE w ciągu kilkunastu prób znajdowało prompty prowadzące do sukcesu. Oczywiście, kluczowe jest tu posiadanie dobrego VLM. Jeśli model nie rozumie sceny lub nie potrafi wyciągnąć wniosków, cała pętla siada. Ale przy dzisiejszych możliwościach dużych modeli wizyjno-językowych to ograniczenie traci na znaczeniu.
Co to oznacza dla robotów i nie tylko
PDE otwiera furtkę do uczenia robotów złożonych zadań bez konieczności zbierania godzin demonstracji od człowieka. Wystarczy opis zadania i sprawny VLM, który potrafi podpowiadać coraz lepsze instrukcje. W praktyce może to przyspieszyć wdrażanie robotów w magazynach, na liniach montażowych czy w domach, gdzie lista możliwych czynności jest długa, a nagrody często pojawiają się dopiero po wykonaniu całej sekwencji ruchów.
Poza robotyką, podobny schemat można wykorzystać do trenowania asystentów AI, którzy muszą nauczyć się rozumowania wieloetapowego. Zamiast szumu w przestrzeni akcji, model przepisuje własny plan działania na podstawie analizy nieudanych prób. Nie wiem, czy PDE sprawdzi się w chaotycznych, rzeczywistych środowiskach, gdzie VLM może gubić kontekst, ale na razie wyniki laboratoryjne są zaskakująco obiecujące.
- PDE umożliwia uczenie polityk RL nawet przy całkowitym braku nagród na początku (start od zerowej nagrody).
- VLM skutecznie analizuje wideo rolloutów i proponuje lepsze prompty, realizując próbkowanie a posteriori.
- Metoda znacząco poprawia efektywność próbkowania w zadaniach manipulacji i rozumowania w porównaniu ze standardowym szumem akcji.
- Zmiana promptu w modelach VLA wywołuje globalne perturbacje zachowania, niedostępne przy szumie akcji.
Praktyczne zastosowania
Aby lepiej zrozumieć opisywaną innowację, przygotowaliśmy cztery przykłady praktycznego zastosowania tej technologii w różnych branżach:
Podsumowanie
PDE pokazuje, że język może zastąpić losowe ruchy tam, gdzie trzeba wyjść poza lokalne poprawki. Dla firm wdrażających roboty oznacza to możliwość uczenia nowych zadań bez kosztownych nagrań demonstracyjnych – wystarczy ogólny opis i model, który komentuje próby. W logistyce i produkcji może skrócić czas wdrożenia, a w systemach AI wspomóc rozwój agentów, które same dochodzą do skutecznych strategii za pomocą iteracyjnego poprawiania własnych instrukcji.
Metryka artykułu źródłowego
Tytuł oryginalny: Prompt-Driven Exploration
Autorzy: Sunshine Jiang, John Marangola, David Zhang, Raghuram Kowdeed, Ruiyang Luo, Nitish Dashora, Richard Li, Pulkit Agrawal, Zhang-Wei Hong
Data publikacji: 13 lipca 2026
arXiv: arxiv.org/abs/2607.08837
Napisanie tego artykułu zostało wspomagane przez sztuczną inteligencję. Treść opiera się na oryginalnym artykule naukowym, a jej dokładność została zweryfikowana automatycznie.
