Projekt Hyperlapse od Microsoftu wyniesie nagrania z perspektywy pierwszej osoby na wyższy poziom
Co łączy sportowe kamerki typu GoPro i filmy hyperlpse, czyli nową i ekstremalnie ciekawą technikę nagrywania? Wspólnym mianownikiem jest Microsoft, który postanowił zaoszczędzić czasu twórcom. Nowy algorytm Microsoftu potrafi zrobić zupełnie automatycznie to, co do tej pory zajmowało twórcom setki godzin spędzonych przed komputerem.
Lekki i poręczny sprzęt do nagrywania z perspektywy pierwszej osoby nie jest niczym niezwykłym. Małe kamerki sportowe można kupić już za kilkaset złotych. Dostęp do sprzętu ma więc praktycznie każdy, natomiast problemem pozostają umiejętności. W końcu nawet najlepsza kamerka sama nie wygeneruje wspaniałego filmu, tak jak najlepszy garnek sam nie ugotuje pysznego obiadu.
Dlatego nagrania wideo często są nijakie. Bywa, że filmy przywożone z wakacji są po prostu nudne – trwają godziny, a przez większość czasu nie dzieje się na nich nic ciekawego. Poza tym sama charakterystyka medium sprawia, że sportowe kamerki są w rzeczywistości trudne do okiełznania – szczególnie, gdy za cal bierzemy nagrania sportów ekstremalnych.
Problemem jest wtedy szybki i gwałtowny ruch oraz stabilizacja obrazu działająca w bardzo ograniczonym zakresie (lub jej całkowity brak). Aby wykonać płynne i efektowne wideo z perspektywy pierwszej osoby potrzebne są dodatkowe sprzęty, takie jak stabilizatory i gimbale. Są one duże i dość ciężkie, więc wykluczają się z ideą małej sportowej kamerki.
Microsoft ma rozwiązanie
Oddział Microsoft Research opracował właśnie niezwykle ciekawą technikę edycji filmów ze sportowych kamerek. Jest to oprogramowanie, które tworzy z nagrania film typu hyperlapse. Jest to odmiana filmu poklatkowego timelapse, w której między kolejnymi klatkami kamera zmienia swoją pozycję, co tworzy wrażenie ruchu. Poniżej możecie zobaczyć efekty działania nowego algorytmu Microsoftu.
Produkcja filmu hyperlapse przy użyciu tradycyjnych metod jest wręcz nieludzko czasochłonna. Rozwiązanie Microsoftu działa zupełnie automatycznie, przy czym efekty są na bardzo dobrym poziomie.
Główną zaletą programu Microsoftu jest fakt, że wyjściowe nagranie jest ultra płynne. Aby osiągnąć taki efekt potrzebna jest zaawansowana analiza sceny.
Podczas zwykłego przyspieszenia filmu ze sportowej kamerki, obraz bardzo szarpie. Dzieje się to z dwóch powodów. Po pierwsze, jest to wynikiem słabej stabilizacji obrazu, a po drugie, wynika z gwałtownych ruchów filmującego. Podczas skoków na rowerze wyczynowym odległości kamerki od ziemi zmienia się bardzo znacznie, czego nie jest w stanie zrównoważyć żadna stabilizacja.
Microsoft stworzył algorytm, który analizuje całą geometrię terenu na kolejnych klatkach filmu. Obraz jest dzielony na plany, a algorytm rozumie zależności między obiektami i odległościami między nimi. W efekcie powstaje wirtualny render otoczenia, na który są nakładane zdjęcia obiektów, a obraz może zachować płynność. Ze strony projektu możemy się dowiedzieć, że pierwszym problemem na który natrafili programiści były zniekształcenia obrazu generowane przez kamerki sportowe, gdyż większość z nich ma wbudowany obiektyw typu rybie oko. Poniżej możecie obejrzeć film z dokładnym opisem technicznym nowej techniki.
Efekty są imponujące, choć nie idealne. Czasami zdarza się, że niektóre obiekty zmapowane są niewystarczająco dokładnie i na wyjściowym nagraniu hyperlapse przeskakują z jednego miejsca w drugie. Kojarzy mi się to z efektem przesuwania pozycji w Google Street View.
Projekt zostanie zaprezentowany na tegorocznej konferencji SIGGRAPH, która właśnie odbywa się w Kanadzie. Na razie nie wiemy kiedy nowe rozwiązanie będzie gotowe do wdrożenia jako gotowy produkt. Twórcy mówią, że nowy algorytm zobaczymy w bliżej niesprecyzowanej aplikacji na Windowsa.
Polecam również sprawdzić jak wygląda nagranie hyperlapse wykonane w „tradycyjny” sposób - przy użyciu lustrzanek, statywów, sliderów i całej reszty zabawek. Efekt jest imponujący. Projekt zajął autorowi 363 roboczogodziny.
