Roboty uczą się życia, oglądając filmy w internecie. Tak trzeba żyć
Nowy model Runway potrafi wykorzystać wiedzę z nagrań wideo do sterowania robotami. Praxis-1 udostępniono na otwartej licencji.

Roboty potrafią już chodzić, przenosić przedmioty i wykonywać precyzyjne ruchy. Nadal jednak mają problem z czymś, co człowiek robi niemal odruchowo: wykorzystaniem zdobytej wiedzy w zupełnie nowej sytuacji. Runway uważa, że rozwiązanie może znajdować się w milionach filmów dostępnych w internecie. Firma udostępniła Praxis-1, model sztucznej inteligencji, który uczy się zasad działania świata z nagrań wideo, a następnie wykorzystuje tę wiedzę do sterowania rzeczywistymi robotami. Co ważne, technologia jest już dostępna dla programistów i naukowców na otwartej licencji.
Robot może najpierw obejrzeć, a dopiero potem działać
Robot może sprawnie podnosić kubek podczas treningu, a potem zgubić się, kiedy ktoś przestawi talerz albo podsunie mu inny przedmiot. Żeby nauczyć maszyny radzenia sobie z takimi sytuacjami, inżynierowie muszą zebrać mnóstwo przykładów. To kosztowne i czasochłonne.
Runway proponuje naukę na zwyczajnych nagraniach wideo, nie tylko na filmach z kamer robotów. Praxis-1 analizuje również ludzkie czynności i zachowanie przedmiotów. W ten sposób uczy się przewidywać, co stanie się po wykonaniu określonego ruchu. Nie oznacza to, że obejrzenie filmu od razu zapewnia robotowi nową umiejętność. Wiedza z nagrań stanowi punkt wyjścia, a model trzeba jeszcze dostosować do konkretnej konstrukcji, kamer i mechanizmów. Ramię przemysłowe działa przecież inaczej niż humanoid.
Praxis-1 ma około 27 mld parametrów i jednocześnie przewiduje przyszły obraz oraz ruchy robota. Analizuje polecenie, obraz z kamer i położenie mechanizmów, a następnie wyznacza plan działania na kolejne 1,6 sekundy.
Maszyna wykonuje ruch, sprawdza otoczenie i ponownie planuje. To trochę tak, jakby przed sięgnięciem po szklankę wyobrażała sobie, gdzie znajdzie się jej chwytak. Obliczenia muszą jednak przebiegać na tyle szybko, żeby robot nie zatrzymywał się co chwilę.
Pisaliśmy już, jak Nvidia uczy humanoidy pracy z wykorzystaniem symulacji. Runway chce pójść dalej, wykorzystując ogrom zwyczajnych nagrań z internetu jeszcze przed treningiem na docelowym sprzęcie.
46,2 proc. skuteczności. To dobry wynik, ale nie perfekcja
W symulowanym teście RoboLab-120 Nvidii Praxis-1 poprawnie wykonał 555 z 1200 prób. To 46,2 proc. skuteczności, wobec 42,9 proc. modelu FLUX 3 Action i 28 proc. dla π0.5. Runway prowadzi wśród otwartych modeli sterowania robotami, ale nie w całym rankingu, gdzie są też systemy zamknięte.
W teście SimplerEnv model dostosowany do robota Google RT-1 osiągnął 80 proc. skuteczności, wobec 52,4 proc. oryginalnego systemu. Oba wyniki dotyczą jednak symulacji, nie wielomiesięcznej pracy maszyn w fabryce.
To nie są jednak wyłącznie wyniki z wirtualnego środowiska. W próbach na prawdziwym ramieniu Franka FR3 Praxis-1 ukończył 88 ze 100 podejść do prostych zadań, a konkurencyjny FLUX 3 Action - 80. Sprawdzano m.in. przekładanie przedmiotów i zamykanie szuflady. To obiecujące, choć nadal dalekie od sprawdzenia robota w nieprzewidywalnym domu czy zatłoczonym magazynie.
Autorzy raportu technicznego Praxis-1 przyznają, że model myli podobne przedmioty, gorzej radzi sobie z ogólnymi poleceniami i z długimi zadaniami bez dodatkowych instrukcji. Do pomocnika, któremu wystarczy rzucić posprzątaj kuchnię, wciąż daleko.
Model udostępniono za darmo. Teraz sprawdzą go inni
Najważniejsza wiadomość dotyczy dostępności modelu. Runway opublikował wagi Praxis-1 i kod do jego uruchamiania oraz dostrajania na licencji Apache 2.0. Pozwala ona także na komercyjne wykorzystanie rozwiązania. Praxis-1 można pobrać z GitHuba i Hugging Face, a uruchomić m.in. na RTX 5090, H100 czy Jetson Thor. Partnerzy Runway, w tym Noble Machines, Standard Bots i Ultra, testowali go na humanoidzie oraz ramionach przemysłowych i magazynowych.
Udostępnienie wag nie oznacza przy tym oczywiście, że wystarczy wgrać program, by zwykły robot zaczął samodzielnie pracować. Potrzebne są zgodny sprzęt, jego konfiguracja i dane do dostrojenia modelu. Otwarta licencja daje za to zespołom badawczym i firmom możliwość sprawdzenia technologii bez proszenia Runway o indywidualny dostęp. Nvidia również udostępnia otwarte narzędzia do uczenia robotów. Dla producentów najważniejsze będzie jednak to, czy dzięki takim modelom można skrócić czas szkolenia maszyn.
Przeczytaj także:
Praxis-1 nie zamienia dowolnego filmu w gotową umiejętność robota. Pokazuje jednak, że nagrania wykorzystywane do uczenia generatorów wideo mogą również pomagać prawdziwym maszynom w poznawaniu świata. W tym przypadku AI nie kończy pracy na ekranie.
*Źródło grafiki wprowadzającej: iLexx, Getty Images, Canva Pro
Redaktor Spider's Web specjalizujący się w tematyce naukowej. O nowych technologiach zaczął pisać w 2012 r. na łamach portalu Telix. Później współtworzył treści dla Komputer Świata i PCLabu. Epizod dziennikarski zaliczył także w lokalnej gazecie i w dziale blogowym SpeedTest. Współzałożyciel agencji BlueCopy, zajmującej się copywritingiem i poligrafią. Przez pewien czas właściciel firmy transportowej. Prywatnie fan starych polskich oper mydlanych (oglądanych obowiązkowo z konkubiną), dumny opiekun kotki brytyjskiej i pasjonat-amator druku 3D.