Wideo dnia: Nowa sztuczka sztucznej inteligencji - filmy slow-motion w 5400 kl./s
Przyzwyczailiśmy się, że konsumenckie kamery pozwalają na zapis slow-motion maksymalnie w 240 kl./s, jeżeli chcemy zachować dobrą jakość obrazu. Z kolei profesjonalne kamery do slow-motion są horrendalnie drogie. A gdyby tak wykorzystać sztuczną inteligencję? Naukowcy właśnie to zrobili.
iPhone XS Max potrafi nagrywać filmy slow-motion w 240 kl./s przy rozdzielczości Full HD. To skraj tego, co potrafi dzisiejsza konsumencka technologia. Samsung i Sony dochodzą w swoich smartfonach aż do 960 kl./s, ale wiąże się to albo z dużym spadkiem rozdzielczości, albo z bardzo krótkim czasem nagrania.
Na drugim biegunie są profesjonalne kamery, wśród których najpopularniejszą firmą jest amerykański Phantom. Potrafią one nagrywać nawet 12 tys. kl./s w rozdzielczości Full HD, ale cena takiego monstrum to pół miliona złotych. To właśnie na takich kamerach powstaje świetny youtube’owy kanał The Slow Mo Guys, którego próbkę możecie zobaczyć niżej.
Z pomocą przychodzi sztuczna inteligencja i jej 5400 kl./s
Naukowcy z Uniwersytetu w Zurychu stworzyli nowy typ tzw. kamery zdarzeń (event camera). Jest to rodzaj aparatu, który nie filmuje obrazu klatka po klatce, lecz w sposób ciągły i płynny. Kamera wykrywa zmiany w natężeniu światła, w kącie padania promieni słonecznych, zmianach kontrastu i ruchu, po czym opisuje to wszystko w sposób matematyczny, a nie wizualny. Wynikiem jest ciąg danych pozwalający odtworzyć położenie obiektów w dowolnym momencie.
Kamery tego typu mają zastosowanie np. w trakcie eksperymentów naukowych trwających ekstremalnie krótko. W takich warunkach tradycyjne obrazowanie jest niewystarczające.
Niestety kamery tego typu mają jedną zasadniczą wadę: nie generują obrazu. Jakkolwiek dziwnie by to brzmiało, wynikiem są dane matematyczne, które można przetwarzać na różne sposoby. Teraz może się to jednak zmienić.
Naukowcy z Zurychu niczym Neo z Matrixa: zamiast kodu, zaczęli widzieć obraz
Naukowcy opracowali nową metodę, która jest w stanie rekonstruować surowe dane z kamery zdarzeń do formy wizualnej. Z pomocą przyszła sztuczna inteligencja. Naukowcy karmili algorytmy danymi z kamer, po czym dostawali coraz lepsze rezultaty w odwzorowywaniu nagrań.
Po wielu próbach udało się osiągnąć cel: rekonstrukcję nagrania z kamery zdarzeń tworzoną w locie, na żywo. Zespół naukowców pokazał kilka praktycznych zastosowań w filmach slow-motion, gdzie nowa technologia ma największy sens.
Docelowe rozwiązanie może posłużyć nie tylko nauce, ale i zwykłym użytkownikom aparatów i kamer. Rozwiązanie naukowców ma być tanie i efektywne, dzięki czemu w przyszłości nawet niedrogie urządzenia będą mogły rejestrować filmy w ekstremalnym slow-motion.
