Robot dostał zmysł dotyku. Teraz potrafi obchodzić się z jajkami

Przełożenie jajka, wyciągnięcie karty z portfela czy wkręcenie żarówki to dla człowieka proste czynności. Dla robotów okazują się jednak wyjątkowo trudne. Wystarczy odrobinę za mocno ścisnąć przedmiot albo źle ustawić palce, żeby cała operacja skończyła się niepowodzeniem. Naukowcy wspólnie z Panasonicem opracowali system sztucznej inteligencji, który pozwala robotom reagować na dotyk niemal natychmiast. Dzięki temu maszyny potrafią znacznie lepiej kontrolować siłę chwytu, a ich skuteczność w testach wzrosła z 35 do 65 proc.

Roboty potrafią dziś rozpoznawać przedmioty, poruszać się po skomplikowanym terenie i wykonywać coraz bardziej widowiskowe akrobacje. Problem zaczyna się jednak wtedy, gdy trzeba zrobić coś pozornie banalnego. Podniesienie surowego jajka wymaga przecież zupełnie innej siły niż chwycenie metalowego narzędzia. Co więcej, podczas podnoszenia przedmiot może zacząć się wyślizgiwać, a wtedy trzeba natychmiast skorygować ruch.

Robotyczne dłonie są jednym z największych problemów współczesnej robotyki. Nawet najbardziej zaawansowany model sztucznej inteligencji niewiele pomoże, jeśli maszyna nie potrafi kontrolować nacisku swoich palców.

Zespół badaczy współpracujących z Panasonic Holdings opracował system T-Rex, czyli Tactile-Reactive Dexterous Manipulation. Jego zadaniem jest umożliwienie robotom wykonywania precyzyjnych czynności wymagających współpracy obu dłoni i szybkiego reagowania na zmieniające się warunki kontaktu z przedmiotem.

Nad rozwiązaniem pracowali m.in. naukowcy z Uniwersytetu Kalifornijskiego w Berkeley, Stanforda, Nvidii oraz Uniwersytetu Sapienza w Rzymie. Wyniki zostaną zaprezentowane podczas konferencji Conference on Robot Learning, zaplanowanej na 9-12 listopada w Austin.

Najciekawszy element T-Rex dotyczy sposobu sterowania robotem. Zwykłe systemy sztucznej inteligencji wykorzystujące obraz z kamer analizują otoczenie, planują ruch, a następnie wysyłają odpowiednie polecenia do mechanicznych kończyn. Taki proces wymaga jednak czasu, a sytuacja może zmienić się w ułamku sekundy.

Wyobraźmy sobie robota, który podnosi szklankę. Kamera pokazuje, gdzie znajduje się przedmiot i jak należy go chwycić. Gdy jednak szklanka zaczyna wyślizgiwać się z palców, ponowna analiza całego obrazu może okazać się zbyt powolna. Człowiek radzi sobie z podobną sytuacją dzięki zmysłowi dotyku, który pozwala błyskawicznie zwiększyć siłę chwytu.

T-Rex działa w podobny sposób. System łączy model Vision-Language-Action, interpretujący obraz i polecenia językowe, z dodatkowym modułem analizującym informacje pochodzące z czujników dotykowych.

Pierwszy moduł opracowuje ogólny plan ruchu około 5 razy na sekundę. Drugi reaguje na zmiany nacisku, poślizg i odkształcenia przedmiotu z częstotliwością około 20 razy na sekundę. Dzięki temu robot nie musi ponownie analizować całego otoczenia przy każdej drobnej korekcie.

Warto przy tym zauważyć, że naukowcy opracowują również roboty reagujące na dotyk bez udziału elektroniki. W przypadku opisywanego przez nas wcześniej rozwiązania odpowiedź wynika bezpośrednio z konstrukcji mechanicznej. Panasonic i jego partnerzy obrali inną drogę, wykorzystując sztuczną inteligencję do błyskawicznego dostosowywania ruchów.

Żeby robot rzeczywiście potrafił korzystać z informacji dotykowych, trzeba go odpowiednio wyszkolić. Badacze wykorzystali dwuramienną platformę Dexmate Vega-1, wyposażoną w robotyczne dłonie Sharpa Wave. Każda ma 5 palców z czujnikami rejestrującymi siłę oraz odkształcenia podczas kontaktu z przedmiotami.

Do zebrania danych treningowych wykorzystano ponad 200 rodzajów codziennych przedmiotów i 22 podstawowe czynności. Robot wykonywał m.in. chwytanie, przesuwanie, podnoszenie oraz manipulowanie obiektami wymagającymi precyzyjnego ustawienia palców.

Łącznie zebrano ponad 7700 sekwencji ruchów obejmujących około 100 godzin pracy. W zapisie uwzględniono jednocześnie obrazy z kamer, położenie ramion, ruchy dłoni i informacje pochodzące z czujników dotykowych. System mógł dzięki temu uczyć się związku między wykonywanym ruchem, a tym, co robot wyczuwał podczas kontaktu z przedmiotem.

Wcześniej wykorzystano również 22 889 godzin nagrań przedstawiających wykonywanie różnych czynności z perspektywy człowieka. Tak duży zbiór danych pozwolił modelowi poznać podstawowe zależności pomiędzy obrazem a ruchem, zanim rozpoczął bardziej specjalistyczny trening z wykorzystaniem dotyku.

Najważniejszym sprawdzianem były eksperymenty przeprowadzone w rzeczywistych warunkach. Naukowcy przygotowali 12 zadań wymagających precyzyjnego chwytu, kontrolowania siły nacisku i współpracy obu dłoni.

Robot musiał m.in. przewracać strony książki, przekładać jajko, wyciskać pastę do zębów, otwierać zamek kluczem, wyciągać cienką kartę i wkręcać żarówkę. Każdą czynność sprawdzano podczas 16 prób, a wyniki porównano z 6 innymi metodami sterowania.

T-Rex osiągnął średnią skuteczność 65 proc. Najlepsza z porównywanych metod uzyskała 35 proc., co oznacza przewagę 30 punktów procentowych. Co ważne, po usunięciu informacji dotykowych skuteczność samego T-Rex spadała do 42 proc.

W poszczególnych zadaniach wyniki były jednak bardzo zróżnicowane. System uzyskał 96 proc. skuteczności przy przewracaniu kartek, 75 proc. przy przekładaniu jajka i 70 proc. przy wyciąganiu karty. Znacznie gorzej radził sobie z otwieraniem zamka kluczem, osiągając 47 proc., oraz wkręcaniem żarówki, gdzie wynik wyniósł zaledwie 35 proc.

Sama możliwość reagowania na dotyk nie rozwiązuje więc wszystkich problemów robotycznej manipulacji. Nawet jeśli maszyna odpowiednio chwyci przedmiot, nadal musi właściwie go ustawić i wykonać odpowiedni ruch.

Badacze nie ukrywają, że T-Rex ma jeszcze sporo ograniczeń. Podczas części prób robot potrafił prawidłowo chwycić jajko, ale później umieszczał je w niewłaściwym miejscu. Innym razem zbyt mocno ściskał tubkę pasty do zębów, przez co wyciskał jej za dużo i nie trafiał na szczoteczkę. Zdarzało się również, że podczas wkręcania żarówki maszyna uderzała nią o oprawkę, zamiast prawidłowo dopasować gwint. Przy otwieraniu zamka klucz potrafił wyślizgnąć się z palców, mimo że początkowy chwyt był poprawny.

To bardzo konkretne przykłady pokazujące, jak trudne jest przeniesienie ludzkiej zręczności do świata maszyn. Czujniki mogą dostarczyć informacji o nacisku, ale sztuczna inteligencja musi jeszcze prawidłowo je zinterpretować i dobrać odpowiednią reakcję.

Przeczytaj także:

Podobne wyzwania próbuje rozwiązywać robotyczny chwytak inspirowany trąbą słonia, który pozwala delikatnie manipulować miękkimi przedmiotami. T-Rex jest jednak rozwiązaniem skupionym na sterowaniu dwiema wielopalczastymi dłońmi, a nie opracowaniu nowej konstrukcji chwytaka.

*Grafika wprowadzająca wygenerowana przez AI