Apple umieścił Maca Mini w chińskim robocie. Wyleczył domowe maszyny ze ślepoty

Wpuść robota do nieznanego mieszkania i poproś, żeby usiadł na krześle. Dla człowieka to banalne zadanie. Robot musi jednak najpierw znaleźć właściwy mebel, podejść do niego, odwrócić się i usiąść tak, żeby nie wylądować na podłodze. Wszystko bez wcześniejszego poznania układu pomieszczenia.

Naukowcy Apple opracowali system, który potrafi sobie z tym poradzić. Wyszkolili go w 1000 komputerowo wygenerowanych domów, a następnie wypuścili do prawdziwych wnętrz, których wcześniej nie widział. W 360 próbach robot osiągnął 91 proc. skuteczności. Co najciekawsze, nie trzeba było przygotowywać cyfrowych kopii mieszkań, w których później pracował.

Współczesne humanoidy potrafią wykonywać salta, biegać i tańczyć z zaskakującą precyzją. Często są to jednak umiejętności wyćwiczone w kontrolowanych warunkach, z dokładnie określonymi sekwencjami ruchów. Znacznie trudniej przygotować maszynę do sytuacji, w której nie zna otoczenia, a polecenie otrzymuje dopiero po wejściu do pomieszczenia.

Zespół badaczy Apple postanowił zmierzyć się właśnie z takim problemem. W pracy zatytułowanej Perceptive Humanoid Motion from Simulation przedstawiono HALO, system umożliwiający robotowi rozumienie poleceń i samodzielne dobieranie ruchów całego ciała na podstawie obrazu z kamer.

Maszyna potrafi podejść do wskazanego przedmiotu, usiąść na krześle, przecisnąć się bokiem przez częściowo otwarte drzwi, przykucnąć lub przeczołgać się pod stołem. Może także popychać pudełka i łączyć kilka czynności w dłuższą sekwencję. Nie potrzebuje do tego wcześniej przygotowanej mapy mieszkania ani zapisanego przebiegu każdego ruchu.

Humanoidy takie jak Unitree G1 są obecne na rynku już od 2024 r., ale sama zdolność chodzenia i utrzymywania równowagi nie czyni z nich samodzielnych pomocników. Robot musi jeszcze rozumieć, gdzie znajduje się cel i jak dostosować swoje ruchy do rzeczywistego otoczenia.

Największą przeszkodą w uczeniu humanoidów jest przede wszystkim zdobywanie danych. Kiedy robot ma nauczyć się nowej czynności, to ktoś zwykle musi wielokrotnie pokazywać mu właściwe zachowanie. Można sterować maszyną zdalnie, nagrywać ludzkie ruchy albo wykorzystywać specjalne systemy przechwytywania ruchu. Wszystkie te metody wymagają czasu i pracy ludzi.

Apple przygotowało 1000 wirtualnych domów o różnych układach pomieszczeń i wyposażeniu. Wygenerowano w nich niemal 163 tys. epizodów treningowych, obejmujących łącznie około 300 godzin ruchu robota. Każdy przykład zawierał polecenie, obraz widziany z perspektywy maszyny oraz odpowiadającą mu sekwencję ruchów.

Wirtualne mieszkania można było dowolnie przebudowywać, przestawiać meble i zmieniać warunki oświetlenia. Algorytmy generowały kolejne ruchy, a system automatycznie odrzucał nieprawidłowe próby, na przykład takie, w których stopa robota przenikała przez podłogę albo maszyna wykonywała nierealistyczny manewr.

Przygotowanie całego zbioru danych zajęło 48 godzin pracy 250 procesorów graficznych Nvidia H100. To potężne zaplecze obliczeniowe, ale pozwoliło prowadzić eksperymenty równolegle, bez konieczności mozolnego odgrywania każdej sekwencji w prawdziwym mieszkaniu.

Nie jest to oczywiście pierwszy taki pomysł. Nvidia rozwija własne środowiska symulacyjne do szkolenia robotów, a NASA wykorzystuje cyfrowe odpowiedniki wnętrz statków kosmicznych, żeby uczyć maszyny wykonywania prac bez angażowania astronautów. Apple poszło jednak w kierunku uczenia poruszania się po wielu nieznanych przestrzeniach, zamiast odwzorowywać jedno konkretne miejsce pracy.

Choć mówimy o robocie Apple, to wbrew pozorom firma nie zbudowała własnego humanoida. W eksperymentach wykorzystano Unitree G1, maszynę opracowaną przez chińskiego producenta. Inżynierowie zmodyfikowali ją, instalując dodatkową kamerę na głowie oraz obudowę z komputerem Mac mini M4 Pro wyposażonym w 64 GB pamięci.

Mac odpowiada za interpretowanie poleceń i planowanie ruchów. Pozostałą częścią sterowania zajmuje się komputer Nvidia Jetson Orin NX, będący elementem wyposażenia robota. Dzięki temu system może pracować bez stałego połączenia z zewnętrznym komputerem.

HALO podzielono na trzy współpracujące ze sobą moduły. Pierwszy analizuje obraz i polecenia użytkownika, a następnie rozbija zadanie na prostsze czynności. Drugi około 3 razy na sekundę przygotowuje plan ruchu całego ciała na następne 5 sekund. Trzeci, działający z częstotliwością 50 Hz, kontroluje wykonywanie poleceń przez silniki i pomaga utrzymać równowagę.

W przypadku polecenia dotyczącego siadania robot musi więc kolejno znaleźć krzesło, podejść do niego, obrócić ciało i opuścić się na siedzisko. Nie odtwarza przy tym jednej, niezmiennej animacji. Koryguje plan na podstawie tego, co widzi podczas ruchu.

To rozwiązanie można porównać z innym projektem robotycznym Apple, czyli lampką ELEGNT. Tam głównym przedmiotem badań były naturalne, ekspresyjne ruchy podczas kontaktu z człowiekiem. Tutaj badanie skupia się na znacznie trudniejszym problemie przemieszczania całego ciała w nieznanym otoczeniu.

Po zakończeniu treningu badacze przenieśli HALO do rzeczywistego robota i przeprowadzili 360 prób w 6 różnych wnętrzach. Żadne z tych miejsc nie było wcześniej skanowane ani wykorzystywane do przygotowywania danych treningowych.

Każdą z 6 umiejętności sprawdzono 10 razy w każdym pomieszczeniu. Najlepiej wypadło kucanie pod przeszkodą, zakończone powodzeniem we wszystkich próbach. Przechodzenie bokiem przez częściowo otwarte drzwi osiągnęło 93 proc. skuteczności, a docieranie do wskazanego przedmiotu 92 proc.

Nieco gorzej robot radził sobie z czołganiem pod stołem, popychaniem pudełek i siadaniem. Wyniki wyniosły odpowiednio 90, 88 i 85 proc. Łączna skuteczność wszystkich 6 zadań osiągnęła 91 proc., identycznie jak podczas wcześniejszych prób w nieznanych środowiskach symulacyjnych.

Jeszcze ciekawsze są wyniki dotyczące liczby wirtualnych mieszkań. Kiedy system uczono siadania w zaledwie jednym środowisku, jego skuteczność w nowych symulowanych wnętrzach wynosiła 43 proc. Po zwiększeniu liczby środowisk treningowych do 1000 wzrosła do 84 proc. Samo urozmaicenie otoczenia miało więc ogromny wpływ na zdolność wykonywania znanej czynności w nieznanym miejscu.

Przy prostych zadaniach HALO wypada bardzo dobrze. Problemy zaczynają się jednak wtedy, gdy robot musi wykonać kilka czynności po kolei. W testach wieloetapowych średnia skuteczność spadła do 70 proc., a próby przeprowadzono tylko w jednym rzeczywistym środowisku.

Najtrudniejszy okazał się scenariusz, w którym maszyna musiała przykucnąć, podejść do wskazanego przedmiotu i popchnąć pudełko. Udało się to jedynie w połowie prób. Badacze zauważyli, że po wykonaniu pierwszej czynności robot często pozostawał ustawiony w taki sposób, że kolejnego celu nie było widać w kamerze.

Zamiast rozejrzeć się po pomieszczeniu, maszyna potrafiła zgubić właściwy kierunek i zainteresować się innym przedmiotem. W części prób siadania myliła też krzesło z pobliską sofą. Brakuje jej jeszcze podstawowych zachowań pozwalających odzyskać orientację, gdy cel zniknie z pola widzenia.

To dobrze ilustruje problem, który opisywaliśmy w analizie rzeczywistych możliwości robotów humanoidalnych. Widowiskowe demonstracje nie zawsze przekładają się na zdolność wykonywania długich, nieprzewidywalnych zadań. HALO robi krok naprzód, ale wciąż korzysta z ograniczonego zestawu wyuczonych umiejętności.

Nowy system nie jest jeszcze zapowiedzią gotowego robota, którego wkrótce będzie można kupić w Apple Store. Firma prowadzi odrębne prace nad własnymi urządzeniami do inteligentnego domu, w tym robotem z ekranem zamontowanym na ruchomym ramieniu.

Zespół badawczy przyznaje również, że system nadal wymaga udziału człowieka podczas projektowania nowych umiejętności. Automatycznie powstają dane treningowe, ale ktoś musi wcześniej określić, jaką czynność robot ma wykonywać, i przygotować najważniejsze pozycje ciała. Maszyna nie nauczy się więc samodzielnie dowolnej pracy domowej tylko dlatego, że otrzymała nowe polecenie.

Przeczytaj także:

Mimo tych ograniczeń wyniki są istotne. Meta również rozwija własnego humanoida przeznaczonego w przyszłości do pomocy w domu, a podobne ambicje mają Tesla, Figure AI i wielu chińskich producentów. Każdy z tych projektów musi rozwiązać problem samodzielnego poruszania się w otoczeniu, którego wcześniej nie przygotowano specjalnie dla robota.

*Grafika wprowadzająca wygenerowana przez AI