Wreszcie powstała AI, której potrzebujemy. Pomoże ci przy klockach LEGO

Internet jest pełen obrazków AI przedstawiających różne sceny z kultury, sztuki czy prawdziwego życia, przerobionych na zestawy LEGO. Nadal jednak są to "wyobrażenia" AI na temat tego jak miałby taki zestaw wyglądać - nie stanowi on w żaden sposób instrukcji co do tego jak z istniejących części zbudować kamienicę Łęckich czy scenę Dożynków niczym z "Chłopów" Reymonta.

Taką instrukcję może podsunąć jednak LegoGPT.

Naukowcy z Carnegie Mellon University w Stanach Zjednoczonych zaprezentowali LegoGPT, stworzony przez siebie model generatywnej sztucznej inteligencji, którego specjalizacją jest tworzenie stabilnych, możliwych do zbudowania konstrukcji na podstawie podpowiedzi tekstowych. Według zapewnień badaczy, twory LegoGPT są w pełni rekonstruowalne - człowiek mógłby je zbudować, nie natrafiając na problemy.

Działanie LegoGPT można podejrzeć na specjalnie przygotowanej stronie w serwisie HuggingFace. Szczegółowy opis LegoGPT wraz z animacjami dostępny jest na stronie projektu.

Naukowcy zaczęli swoją pracę od modelu sztucznej inteligencji o nazwie LLaMA-3.2-1B-Instruct, który został przeprojektowany tak, by być w stanie - zamiast słów - przewidywać "następny klocek LEGO" do dodania do konstrukcji.

By to osiągnąć, zestawy Lego zostały "przetłumaczone" na sekwencje tekstu, w których każdy element (klocek) i jego położenie są opisane w prostym formacie tekstowym. Format ten zawiera ważne szczegóły, takie jak rozmiar klocka (długość i szerokość - np. 4 x 2) oraz jego dokładne położenie w przestrzeni 3D (np. 1,7,17).

Następnie badacze dostroili wstępnie wytrenowany model LLaMA, "karmiąc" go specjalnie sformatowanymi instrukcjami składania klocków, które zawierały wspomnienia różnych kolorów, kształtów i tekstur, jednocześnie zamieniając określenia ich położenia w układzie na sekwencje tekstu. Przetwarzając te przykłady, model nauczył się przewidywać prawidłową sekwencję klocków odpowiadającą danemu opisowi tekstowemu.

To dopiero połowa sukcesu, bowiem badacze musieli jeszcze nauczyć model AI jak wygląda gotowy obiekt złożony z klocków Lego. W tym celu skorzystali oni z zestawu danych ShapeNetCore, który zawiera ponad 50 tys. modeli 3D różnych obiektów: mebli, pojazdów czy przedmiotów codziennego użytku. Następnie stworzyli oni skrypt, który przekonwertował każdy z tych obiektów na obiekty złożone z klocków Lego. Ponieważ nie wszystkie obiekty w modelu ShapeNetCore zachowałyby stabilność po złożeniu, badacze - z pomocą specjalnej metody analitycznej - odsiali obiekty, które nie byłyby w stanie samodzielnie stać. To pozostawiło ich z nieco ponad 47 tys. obiektów 3D złożonych z klocków Lego.

Aby LegoGPT był w stanie skojarzyć każdy obiekt 3D z poleceniem użytkownika, badacze użyli modelu GPT-4o do wygenerowania opisu każdego przedmiotu. Tak przygotowany zestaw został "podany" LegoGPT, który od tego momentu był w stanie generować modele Lego jedynie z pomocą instrukcji tekstowych.

Aby udowodnić, że projekty LegoGPT są możliwe do złożenia, naukowcy zlecili robotom montaż modeli Lego stworzonych przez sztuczną inteligencję. Maszyny wykorzystały system podwójnych ramion z czujnikami nacisku do podnoszenia i umieszczania klocków, zgodnie z instrukcjami wygenerowanymi przez sztuczną inteligencję. Badacze zaangażowali do prób także niezależnych, ludzkich uczestników, którym udało się samodzielnie zbudować kilka konstrukcji na podstawie grafik wygenerowanych przez LegoGPT.

Choć LegoGPT wydaje się być systemem stworzonym dla ojców, których syn prosi o pomoc w zbudowaniu ciężarówki, to AI ma słuszne ograniczenia konstrukcyjne. W obecnej formie jest w stanie budować obiekty w trójwymiarowej przestrzeni o wymiarach 20x20x20 i z użyciem 21 klocków. Zespół z Carnegie Mellon University zapowiedział, że praca nad LegoGPT będzie kontynuowana tak, aby AI była w stanie "ułożyć", jeszcze więcej obiektów, na większej powierzchni i z użyciem nietypowych klocków takich jak płytki, rampy czy koła.

Więcej na temat klocków Lego: