Skanowanie domu w 3D za pomocą iPhone'a. Jak działa Polycam?

LiDAR to umieszczony obok głównego aparatu w iPhonie czujnik, który służy do skanowania otoczenia. Oprogramowanie firmy z Cupertino wykorzystuje go podczas generowania na żywo treści w poszerzonej rzeczywistości, do zbierania dodatkowych danych o głębi w trakcie robienia zdjęć i w trakcie przeprowadzania pomiarów, a także do ostrzegania przed ludźmi.

Nie są to jednak jego jedyne zastosowania. Świetnym pomysłem na wykorzystanie "radaru w telefonie" jest aplikacja Polycam, czyli taki podręczny skaner 3D.

Czytaj też:

Aplikację o nazwie Polycam może pobrać każdy ze sklepu App Store. Aby cieszyć się pełnią możliwości tego programu, należy korzystać z kompatybilnego urządzenia, które wyposażone jest w czujnik LiDAR. Na liście sprzętów, które go dostały, znalazły się telefony iPhone 12 Pro, iPhone 12 Pro Max, iPhone 13 Pro, iPhone 13 Pro Max oraz tablety iPad Pro z 2020 r. i nowsze.

Program ma bardzo ascetyczny interfejs i jest gotowy do działania już chwilę po jego uruchomieniu. Skany można robić na cztery sposoby. Osobno wybiera się sposób rejestrowania materiału (tryb ciągły z użyciem wideo lub rejestrowanie pojedynczych fotografii) oraz sposób zbierania danych o głębi (z użyciem wspomnianego LiDAR-u lub bez niego).

Sam korzystam z iPhone'a 13 Pro Max i zdecydowałem się na połączenie wideo z LiDAR-em, bo to najszybszy i najwygodniejszy sposób skanowania. Po przejściu do ekranu tworzenia nowego projektu Polycam od razu zaczyna przetwarzać dane z otoczenia. Program wykrywa w kadrze różne powierzchnie, a potem nakłada na obraz z kamery geometryczne linie i kształty.

Aplikacja na obrazie z kamery zaznacza z użyciem rzeczywistości poszerzonej te miejsca, które wymagają dalszego skanowania. Wystarczy skierować aplikację aparatu w stronę fragmentu ściany albo obiektu zaznaczonego na niebiesko i poczekać na zeskanowanie go. Telefonem najlepiej poruszać powoli, ale gdy tylko Polycam wykryje, że telefon porusza się za szybko, wyświetli ostrzeżenie.

Po przeprowadzeniu skanowania trzeba uruchomić ręcznie proces łączenia przechwyconych obrazów. Po chwili przetwarzania danych (co dla mieszkania o powierzchni 42 mkw trwało około czterech minut) można obejrzeć wygenerowany w aplikacji model 3D. Podobny czas zajęło generowanie skanu ogródka niedaleko bloku. Uwaga! Podczas łączenia danych nie można minimalizować Polycam.

Co istotne, po wykonaniu, zapisaniu i przetworzeniu pierwszego skanu można go dodatkowo rozszerzyć. Wystarczy wejść w menu edycji projektu i wybrać opcję Przedłuż. Jak tylko aplikacja wykryje w obiektywie kamery obszar, który został zeskanowany poprzednio, można rozpocząć rejestrowanie kolejnego, by np. dodać dodatkowy pokój do skanu mieszkania.

Opcja wyświetlenia modelu 3D całego mieszkania po zeskanowaniu go telefonem jest świetna, ale niestety czar pryska, gdy tylko zaczniemy przyglądać się szczegółom zarejestrowanego obrazu. Pomimo wykorzystania czujnika LiDAR i najnowszego telefonu Apple'a, a do tego zaglądałem obiektywem w każdy kąt, zeskanowane mieszkanie pełne jest artefaktów.

Ciekawie wypada też skanowanie przedmiotów w 3D i wyświetlanie ich później w trybie AR, ale i tutaj ma co liczyć na w pełni realistyczne odwzorowanie. Na próbę postawiłem na białym stoliku czerwoną skarbonkę, a potem wyświetliłem obok niej uprzednio zeskanowany model. Efekty skanu wykonanego z użyciem aplikacji Polycam możecie zobaczyć na poniższych zrzutach ekranu.

Gdy tylko skierujemy obiektyw na lustro lub szkło, apka się gubi. W moim mieszkaniu Polycam dorysował np. dodatkowe pomieszczenie na przedpokoju, bo mamy na korytarzu szafę z lustrem, a w jego odbiciu widać fragment kuchnii. Na szczęście model mieszkania po zeskanowaniu można edytować (co przydaje się też wtedy, gdy chcemy usunąć fragment korytarza, gdy robimy np. skan sypialni).

Niestety na odbiciach problemy Polycam się nie kończą. Ze względu na ogrom danych do przetworzenia, energia z akumulatora telefonu ucieka w oczach. Telefon do tego się nagrzewa i potrafi się przygasić z tego powodu ekran (na szczęście w moim przypadku działo się to dopiero w trakcie przetwarzania danych, a nie rejestrowania). Apka potrafi się też zawiesić i skan trzeba robić od nowa.

Mimo to polecam pobawić się Polycam samemu, bo można uzyskać naprawdę ciekawe efekty. Wykonane przez siebie modele można też wyeksportować jako np. wideo lub do wybranego pliku do późniejszej obróbki w np. Blenderze (aczkolwiek tutaj przyda się płatny plan Polycam Pro). W programie znalazła się też galeria skanów wykonanych przez innych użytkowników, które mogą posłużyć jako inspiracja.

Polycam mimo swoich ograniczeń jest fenomenalnym przykładem na to, jak można w cwany sposób wykorzystać nowe technologie z telefonów komórkowych. Liczę jednak na to, że w przyszłości program się rozwinie lub powstaną lepsze usługi tego typu. Jest w dodatku na to całkiem spora szansa, gdyż Apple podczas konferencji WWDC 2022 zaprezentował RoomPlan API korzystające z technologii ARKit.

Programiści, którzy będą chcieli tworzyć aplikacje do tworzenia modeli 3D pokojów i pomieszczeń, nie będą musieli już tworzyć tej technologii sami od zera. W tym celu wystarczy wykorzystać API, które wykryje nie tylko kształty, ale też np. typ mebli. To może być spore ułatwienie zarówno dla twórców Polycam, jak i aplikacji sieci sklepów meblarskich.