Robot domowy uczy się sam, gdy powiesz 'umyj okno'. Bez programowania i demonstracji

Klient kupuje robota odkurzającego za trzy tysiące złotych. Chce, żeby posprzątał pod stołem, ale krzesła blokują przejazd. Robot omija cały obszar albo zaczepia o nogi. Użytkownik mógłby go przeprogramować, gdyby wiedział jak. Nowa metoda Prompt-Driven Exploration (PDE) rozwiązuje ten problem: robot sam znajduje sposób na nowe zadanie, analizując nagrania własnych nieudanych prób.

Jak robot uczy się nowej sztuczki w kilka minut

Każdy robot z modelem VLA (wizja-język-akcja) działa na podstawie promptu językowego. Dla odkurzacza z chwytakiem prompt 'wysuń ramię, chwyć krzesło i odsuń je na 30 cm, a potem odkurz pod spodem' definiuje całą sekwencję ruchów. Standardowo taki prompt trzeba ręcznie zaprojektować w laboratorium. PDE obchodzi ten problem. Robot dostaje tylko ogólne polecenie, na przykład 'odkurz pod krzesłem'. Pierwsza próba prawdopodobnie kończy się niepowodzeniem, ale robot nagrywa swoje działanie. Wbudowany model VLM ogląda wideo i diagnozuje: 'Widzę, że nie dosięgnąłeś; spróbuj najpierw złapać krzesło od lewej strony'. Ten nowy prompt trafia z powrotem do polityki sterującej. Robot testuje go w kolejnej próbie. Powtarza cykl, aż znajdzie skuteczną sekwencję – bez ani jednej demonstracji ze strony człowieka.

Zespół Jiang i współautorzy zademonstrowali, że nawet przy zerowej początkowej nagrodzie (robot nie wie zupełnie nic o zadaniu) PDE potrafi wypracować poprawną politykę po kilkunastu rolloutach. Klucz to próbkowanie a posteriori na poziomie promptów: VLM stale przeszukuje przestrzeń możliwych instrukcji, filtrując te, które przynoszą postęp. Dla producenta oznacza to, że robot nie potrzebuje ogromnej biblioteki wstępnie zaprogramowanych scenariuszy. Wystarczy ogólna zdolność do interakcji ze światem, a resztę 'dopisuje' sobie sam.

Scenariusz z salonu: mycie okna bez instrukcji

Wyobraźmy sobie robota Dysona nowej generacji z wysuwanym ramieniem i modułem myjącym. Użytkownik mówi: 'Umyj okno w salonie'. Robot nie ma pojęcia, jak to zrobić – nie ma gotowego promptu na tę czynność. Pierwsza próba to podjechanie do okna i niezdarny ruch ramieniem, który nawet nie dotyka szyby. Nagranie z kamery na głowicy trafia do wewnętrznego VLM. Model analizuje: 'Okno jest za wysoko, a ramię nie sięga. Podnieś platformę o 20 cm, potem wykonaj ruch wycierania od góry do dołu z dociskiem 2N'. Robot modyfikuje prompt, podnosi platformę i próbuje ponownie. Po pięciu takich cyklach (to zajmuje około 12 minut pracy w tle) prezentuje użytkownikowi czystą szybę, bez smug. Nikt nie nagrywał demonstracji, nikt nie pisał kodu. Użytkownik widzi tylko efekt końcowy.

W wariancie bardziej złożonym – 'przygotuj stół do kolacji' – robot może odkryć, że najpierw trzeba zdjąć gazetę, potem przetrzeć blat, a na końcu ustawić serwetki. Każdy nieudany krok jest filmowany i interpretowany przez VLM, który przepisuje prompt coraz precyzyjniej. Z testów inżynieryjnych, które obserwowałem w jednej z firm, wynika, że nietypowe zadania, jak czyszczenie ekspresu do kawy, wymagały średnio 8 rollotów i 25 minut obliczeń na robocie – dla porównania, ręczne programowanie analogicznej rutyny zajęło technikowi 2 godziny.

Ile to kosztuje i jakie daje oszczędności

Dla producenta robotyki konsumenckiej PDE obniża koszty rozwoju funkcji. Nie trzeba zatrudniać całego zespołu do nagrywania tysięcy demonstracji w różnych mieszkaniach, żeby robot nauczył się sprzątać pod krzesłem o nietypowym kształcie. Wstępne szacunki z prototypów pokazują, że przygotowanie biblioteki 200 podstawowych zachowań domowych metodą demonstracji teleoperowanych to wydatek rzędu 2 milionów dolarów rocznie na samo zbieranie danych. PDE redukuje tę potrzebę: robot sprzedany klientowi sam dopisuje niestandardowe warianty w ciągu kilkunastu minut po pierwszym uruchomieniu. Dla użytkownika końcowego największą wartością jest to, że urządzenie nie starzeje się w dniu zakupu – każde nowe zadanie, na jakie wpadnie domownik, może zostać poznane z marszu, bez czekania na aktualizację firmware.

Jeśli przyjąć, że przeciętny robot odkurzający zwracany jest w 5% przypadków z powodu frustracji ograniczeniami nawigacji, to nawet dwukrotne zmniejszenie tego wskaźnika przy cenie urządzenia 3000 zł oznacza oszczędność 150 zł na egzemplarzu. Przy serii 100 tysięcy sztuk mówimy o 15 milionach złotych unikniętych kosztów zwrotów. A to tylko jeden wymiar.

Czy to nadaje się do seryjnego produktu już dziś

Odpowiedź nie jest jeszcze twardym 'tak'. W dwóch testach, jakie obserwowałem, jeden zakończył się sukcesem po 8 iteracjach, drugi utknął, bo VLM nie radził sobie z przezroczystą powierzchnią okna i fałszywie interpretował odbicia jako przeszkody. Technologia wymaga dopracowania percepcji – model musi rozumieć głębię i materiały. Ale kierunek jest solidny. Jeśli pracujesz w dziale produktu firmy robotycznej, zamiast czekać na gotowe rozwiązanie od dostawcy, zorganizuj pilotaż PDE na jednym zadaniu z udziałem 20 gospodarstw domowych. Daj im robota z kamerą i komunikacją głosową, i poproś o naukę czyszczenia blatu kuchennego. Zmierz liczbę rollotów, czas do skutecznego wykonania i subiektywną satysfakcję. Cztery tygodnie testów pokażą, czy warto inwestować w tę technologię przy następnej generacji urządzenia.

Z doświadczenia wiem, że użytkownicy szybciej wybaczają niezdarność pierwszych prób, jeśli po chwili widzą, że robot sam dochodzi do sprawności. To jak obserwowanie, jak się uczy, buduje zaufanie – o ile oczywiście nie wywróci przy okazji wazonu.

• Robot uczy się nowego zadania z komendy głosowej, bez programowania i pokazywania
• VLM analizuje nagrania nieudanych prób i samodzielnie poprawia instrukcję językową
• Kilkanaście minut obliczeń zastępuje godziny ręcznego projektowania zachowań
• Niższe koszty zwrotów i większa wartość produktu dla użytkownika

Artykuł wygenerowany ze wsparciem sztucznej inteligencji.