Pamiętacie ruchome obrazy z Hogwartu? Naukowcy stworzyli algorytm ożywiający fotografie i obrazy
Wyobraź sobie, że postać na zdjęciu po prostu wychodzi poza ramy nieruchomego obrazu. Naukowcy z Uniwersytetu Waszyngtońskiego opracowali oprogramowanie, które tworzy imponujące animacje 3D.
Algorytm Photo Wake Up pozwala „obudzić” zdjęcie i ożywić postać pierwszego planu. Do realizacji potrzebna jest jedna fotografia, graffiti lub nawet płótno, by w efekcie powstała pełnowartościowa trójwymiarowa animacja 3D. Może być ona odtwarzana w postaci pliku wideo, jak również wyświetlana na ekranie w rozszerzonej lub wirtualnej rzeczywistości.
Naukowcy Uniwersytetu Waszyngtońskiego w Seattle w swoim raporcie porównują stworzony algorytm do ruchomych portretów w Hogwarcie ze świata Harry'ego Pottera. Podobny efekt próbowało osiągnąć wiele firm technologicznych, jednak do tej pory te próby były mało udane. Photo Wake Up wyróżnia się szczególnie realistyczną segmentacją postaci bohatera na zdjęciu i wydzieleniem go z tła.
Największym wyzwaniem było ożywienie bohatera, którego części ciała są częściowo ukryte - na przykład, gdy stoi ze złożonymi rękami. Zazwyczaj tworzenie animacji zaczyna się od segmentacji ciała obiektu, oceny dwuwymiarowego szkieletu i dopasowywania go do modelu 3D. Gdy części ciała są ukryte, końcowy efekt animacji nie wygląda naturalnie, co więcej sylwetka bohatera nie jest pełna.
Inni naukowcy próbowali rozwiązać ten problem poprzez deformację trójwymiarowej siatki ciała bohatera, jednak ten sposób nie przyniósł pożądanego rezultatu.
Photo Wake Up ożywia zdjęcia.
Chung-Yi Weng i jego koledzy z Uniwersytetu Waszyngtońskiego wybrali inną drogę do osiągnięcia celu.
Zamiast deformować siatkę 3D, naukowcy pracują nad rozwiązaniem problemu w formacie 2D. Dokonują wyrównywania sylwetki w przestrzeni obrazu, a potem przenoszą wynik z powrotem do formatu 3D. Takie podejście dobrze się sprawdza w przypadku złożonych postaci ciał bohaterów. Zespół używa programu SMPL (Skinned Multi-Person Linear Mode) i głębokiego uczenia. Głównym dorobkiem naukowców jest metoda budowania animowanego modelu 3D, idealnie dopasowanego do sylwetki bohatera na podstawie jednego obrazu.
Pomysł Chung-Yi Weng polega na tym, aby wyświetlić siatkę w kształcie ciała w przestrzeni 2D, wyrównać ją za pomocą wyciętej sylwetki, używając do tego algorytmu deformacji. Następnie wynik jest przenoszony do 3D. To pomaga oprogramowaniu zidentyfikować konkretne części ciała - głowę, ręce, nogi i tułów — oraz dostosować je w taki sposób, by idealnie dopasowywały się do sylwetki bohatera na zdjęciu.
Szczególną uwagę naukowcy poświęcają głowie bohatera. Algorytm określa takie parametry, jak kierunek spojrzenia i kąt ułożenia głowy, aby animacja wyglądała bardziej naturalnie.
Naukowcy przetestowali technologię na 70 różnych zdjęciach.
Na tapet wzięto m.in. zdjęcie Stephena Curry'ego, znaną z anime postać Goku, dzieło Banksy’ego i obraz Picassa.
Zespół z Uniwersytetu Waszyngtońskiego opracował także interfejs użytkownika, który pozwala każdemu dokonywać zmian. Sami użytkownicy będą w stanie poprawić błędy i udoskonalić animację.
Efekt końcowy to imponujący obraz animowany. Algorytm segmentuje ciało człowieka na zdjęciu, wycina go z obrazu i wypełnia lukę za pomocą algorytmu. Następnie system ożywia wyciętą sylwetkę bohatera w trzech wymiarach w taki sposób, że może on chodzić, biegać, skakać, jak na magicznych zdjęciach, wymyślonych J.K. Rowling.
Zdaniem naukowców metoda pozwala cieszyć się animacją zdjęć i interakcją z nimi, ale pozwala też za pomocą jednego obrazu stworzyć cyfrowy awatar.
Być może w niedalekiej przyszłości własnoręcznie wypróbujemy algorytm na przykład na Facebooku. Jednym z naukowców, którzy stworzyli oprogramowanie Photo Wake Up, jest Ira Kemelmacher-Shlizerman. Założyła ona startup Dreambit oferujący spersonalizowaną wyszukiwarkę zdjęć. W 2016 nabył go właśnie Facebook.
