Robisz kilka byle jakich zdjęć, a dostajesz piękną grafikę 3D. Oto Nvidia Instant NeRF
Fotorealistyczna grafika w grach czy filmach pozostaje marzeniem od zarania grafiki komputerowej i dziś jesteśmy już bardzo, bardzo blisko, by osiągnąć poziom, w którym generowany komputerowo obraz jest niemożliwy do rozróżnienia od prawdziwości. Póki co jednak jest to bardzo kosztowny i długotrwały proces, wymagający wiedzy i potężnej mocy obliczeniowej. Nvidia Instant NeRF może to zmienić – już we wczesnej fazie ta technologia prezentuje się rewolucyjnie.
Kojarzycie pojęcie fotogrametrii? Czyli w bardzo prostych słowach – robienia zdjęć prawdziwym obiektom pod każdym możliwym kątem, które potem łączone są w specjalnym oprogramowaniu, by odtworzyć obiekt z niemal fotorealistyczną jakością? Technikę tę stosuje się w grafice 3D i m.in. grach komputerowych od wielu lat. Do niedawna wymagała ona profesjonalnych klatek, składających się z kilku/kilkunastu aparatów cyfrowych, lub jednego aparatu, ale umieszczonego na specjalnym ramieniu, które przemieszczało się dookoła fotografowanego obiektu.
Dla przykładu, polska gra The Vanishing of Ethan Carter wykorzystała fotogrametrię do uchwycenia fotorealistycznych, prawdziwych lokacji. Fotogrametria obejmuje również ujęcia np. z drona, zbierające dane o głębi obiektów, które mogą być wykorzystywane m.in. w archeologii czy geodezji.
Mimo tego, że w ostatnich latach fotogrametria stała się bardziej przystępna i przy odpowiednim samozaparciu każdy może się jej nauczyć, tak próg wejścia (zarówno sprzętowy, jak i wiedzowy) nadal pozostaje relatywnie wysoki. Tymczasem Nvidia właśnie upubliczniła technologię tworzenia fotogrametrycznych skanów tak intuicyjną, że już dziś graficy mówią o rewolucji. Wystarczy kilka „byle jakich” zdjęć, by powstał zapierający dech w piersiach skan.
Czym jest Instant NeRF?
Zacznijmy może od tego, czym jest NeRF – w języku angielskim skrót ten rozwijamy jako Neural Radiance Fields. W języku polskim nie mamy jeszcze oficjalnego tłumaczenia, ale na użytek tego tekstu możemy posłużyć się określeniem neuronowe pola promieniowania. To dość nowa technologia przetwarzania obrazów 2D na modele 3D, opracowana w 2020 r. przez naukowców z UC Berkeley, UC San Diego i Google Research.
Algorytm NeRF wykorzystuje do działania częściowe ujęcia 2D, połączone z metadanymi na temat kąta i odległości wykonywanej fotografii. Następnie interpoluje dane z pozyskanych fotografii i wytwarza na ich podstawie obraz przestrzenny (5D) i obraz kolorystyczny (4D). NeRF pozwala też w prosty sposób dokonywać późniejszej obróbki obrazu czy relightingu (zmiany oświetlenia modelu 3D).
Nvidia wzięła nowy standard w obroty i zrobiła dobry użytek z wielomilionowych budżetów na badania i rozwój, opracowując standard Instant NeRF. Największym problemem NeRF był bowiem czas potrzebny do wytworzenia obrazu 3D – w przypadku skomplikowanych scen renderowanie takiej grafiki mogło zająć nawet kilka dni (!). Tymczasem technologia Instant NeRF od Nvidii potrafi „wypluć” efekt końcowy w kilkadziesiąt sekund, a jedynym, co jest potrzebne do jej działania, jest kilkanaście ujęć, które mogą być zrobione chociażby telefonem. Nie potrzeba żadnego sensora głębi ani LIDAR-u (jak np. w skanach, którymi często chwali się Apple). Im więcej zdjęć, tym lepiej.
Nvidia po raz pierwszy zaprezentowała tę technologię w marcu 2022 r., a teraz udostępniła ją pierwszym testerom. Efekty? Dosłownie zapierające dech w piersiach. Polecam samodzielnie przejrzeć hasztag #instantnerf na Twitterze, bo wciąż pojawiają się tam nowe przykłady, ale to, co już dziś możemy zobaczyć, naprawdę robi wrażenie.
Nieważne, czy patrzymy na wykonany z raptem 120 zdjęć skan Boskiego Miszcza:
Czy na imponujące mapowanie krajobrazu miejskiego w 3D w czasie rzeczywistym:
Czy katedrę wygenerowaną po zrobieniu zaledwie 40 zdjęć iPhone’em:
Czy może „zdjęcie grupowe” wykonane przy użyciu telefonu na kijku do selfie:
Oczywiście rezultaty, jak widać, wymagają dalszej obróbki graficznej i oczyszczenia z artefaktów, więc nie można powiedzieć, że już dziś każdy może korzystać z Instant NeRF i nie potrzeba do tego specjalistycznej wiedzy. Potrzeba. Jednak sam fakt, że wczesna wersja oprogramowania potrafi tak wiele dają nadzieję na to, że nowe narzędzie Nvidii już wkrótce stanie się niezwykle użyteczną bronią w arsenale twórców… i nie tylko ich. Nvidia stale pracuje nad nowymi zastosowaniami dla fotogrametrycznych skanów rzeczywistości, w tym wykorzystuje je do uczenia robotów rozpoznawania rzeczywistych obiektów.
Czy Instant NeRF zabierze pracę grafikom?
Gdy AI po raz pierwszy napisało relację z wydarzenia sportowego, media od razu wieszczyły koniec zawodu dziennikarza. A jednak pisma o piłce nożnej i krykiecie nadal mają się świetnie, więc trudno powiedzieć, by roboty zabrały pracę ludziom, ale za to mogą ją znacznie ułatwiać, podsuwając niezbędne informacje, które człowiek musi następnie tylko obrobić.
Tak samo jest z Instant NeRF. O ile potencjał tej technologii pozwala mniemać, że za kilka lat będzie można ją używać przy minimalnym nakładzie pracy, tak graficy 3D mogą spać spokojnie o swoją robotę. Jeśli już, to widać między grafikami na Twitterze przeogromny entuzjazm, gdyż narzędzie od Nvidii może im znacząco ułatwić pracę i przyspieszyć cały workflow, który dziś bywa długotrwałym, żmudnym procesem. A jako że proces będzie szybszy i bardziej przystępny, z czasem powinno to uczynić go również tańszym. Co za tym idzie, będą mogły z niego korzystać nie tylko ogromne studia, ale też niezależni twórcy.
Nvidia Instant NeRF jest póki co we wczesnej fazie rozwoju i zapewne minie jeszcze mnóstwo czasu, nim trafi pod strzechy. Tym niemniej patrząc na imponujące rezultaty osiągane przez nią już dziś, możemy chyba śmiało powiedzieć, że patrzymy na rewolucję.
