Adobe wyostrzy nieostre filmy. Jeśli nagrywasz smartfonem, będziesz zadowolony

Algorytmy sztucznej inteligencji już na dobre zagościły w profesjonalnym oprogramowaniu do edycji zdjęć i filmów. Rozwijana od kilku lat Adobe Sensei w coraz większej mierze trafia do Photoshopa. Najnowsza edycja tego programu potrafi poprzez jedno klik jecie podmienić na zdjęciu całe niebo a także zmieniać wyraz twarzy portretowanych osób.

Najnowszy pomysł Adobe dotoczy filmów. Sensei napędzi teraz nowy algorytm do wyostrzania twoich nagrań. Póki co zobaczyliśmy tylko zapowiedź działania tego narzędzia, ale historia pokazuje, ze tego typu pomysły bardzo szybko trafiają do finalnych wersji programów.

Jeśli jednak myślisz, ze ostrzejsze nagrania zawsze są lepsze, jesteś w błędzie.

Pierwszy tryb działa nowego algorytmu polega na wyostrzania mięsistych fragmentów nagrań. Przykładowo, jeśli nagrywasz film ale obiektyw jest zabrudzony, cześć kadru może być nieostra. Trudno wyostrzyć taki materiał ale algorytmy Sensei mają sobie z tym radzić całkiem dobrze. Do tego zadbają o to, by skupić się tylko na rozmazanych częściach obrazu, pozostawiając resztę bez ingerencji.

Innym przykładem nienajlepszych nagrań jest sytuacja gdy tło zaczyna być lekko rozmyte. Pewnie znacie taki efekt. Nagrywany coś z odległości jakiegoś pół metra, a tło znajduje się dokładnie na granicy rozmycia soczewkowymi obiektywu. Czasem jest akceptowalnej ostre, a czasem wpada w mało atrakcyjną (bo smartfonową, czyli nieznaczną) nieostrość. Widz zastanawia się czy widzi rozmycie drugiego planu czy nagranie o niskiej jakości.

W obu tych przypadkach algorytm Adobe jest w stanie poprawić jakość nagrania, co jest oczywiście dobrą wiadomością. To jednak dopiero początek. Jak zwykle w wypadku wideo, im dalej w las, tym więcej nieoczywistych zależności.

Mowa o motion blur, czyli rozmyciu wywołanym ruchem kamery lub obiektów w kadrze. Adobe pokazuje przykład nagrania z kamerki w aucie, gdzie przy dużej prędkości obraz przy krawędziach robi się rozmyty. To klasyczny przykład efektu motion blur. Oprogramowanie Adobe będzie w stanie wyostrzyć taki obraz, by stopklatka na całej swojej powierzchni była ostra.

Brzmi prosto, ale od strony zaplecza dzieje się tutaj naprawdę dużo. Algorytmy mają co robić, bo w przypadku opisanym wyżej środek kadru zawsze jest ostry, a rozmycie zwiększa się wraz ze zbliżaniem do krawędzi kadru. Siłę wyostrzania trzeba zatem zmieniać dla różnych części kadru.

Algorytm dobrze radzi sobie z usuwaniem tego typu rozmycia ale czy obraz po takim zabiegu wygląda lepiej? Uważam, że wręcz przeciwnie. Motion blur jest jednym z najważniejszych narzędzi w arsenale filmowca. Kinowy wygląd filmów bazuje właśnie na rozmyciu, bowiem obraz w hollywoodzkich produkcjach najczęściej… nie jest ostry. Każda stopklatka ma mniej lub więcej rozmytych elementów. Film wydaje się ostry tylko w ruchu, w trakcie odtwarzania.

Istnieje wiele efektów, które wręcz dodają efekt motion blur do obrazu wideo. Motion blur trafia do gier, dzięki czemu produkcje wyścigowe wydają się być bardziej rzeczywiste. Jest tez wiele pluginow, które w podobny sposób podnoszą wartość produkcyjną materiałów nagranych bardzo technicznymi kamerami pokroju GoPro, gdzie z reguły wszystko jest aż do bólu ostre i po prostu brakuje kinowej plastyki obrazu.

Mogę podejrzewać, że jest to dopiero wstęp do czegoś naprawdę dużego, a mianowicie sterowania wielkością motion blur nie na etapie nagrywania, a w postprocesie. Do niedawna wydawało się to zupełnie niemożliwe, ale przy rozwoju algorytmów pokroju Adobe Sensei w przyszłości takie rozwiązania mogą faktycznie pojawić się na rynku. Zastanówmy się. Całość sprowadza się do analizy klatki i wykrycia obiektów, które w danej chwili są (lub powinny być) rozmyte, po czym można na nich (i tylko na nich) dodać bądź usunąć motion blur.

Temat motion blur jest pozornie prosty, ale w praktyce - jak wszystko w branży wideo - ma drugie i trzecie dno. Niedawno wielkie wrażenie zrobił na mnie film jednego z największych filmowych nerdów (w pozytywnym znaczeniu!) na całym Youtubie, Geralda Undone. Gerald na początku przedstawił regułę 180 stopni, którą znają wszyscy filmowcy, ale szybko wszedł znacznie głębiej. Pokazał, jak wygląda temat motion blur w nagraniach z wysokim klatkażem, do tego w wariancie, gdy chcemy spowolnić materiał do standardowych 24 lub 25 kl./s, bądź gdy chcemy wypuścić materiał w 60 kl./s. Po szczegóły i szczegółową analizę odsyłam do filmu Geralda Undone.

Nowe techniczne możliwości programów wspieranych przez algorytmy AI są naprawdę niesamowite. Nadal trudno mi uwierzyć, że Photoshop już od dawna umie usuwać rozmycie ruchu ze zdjęć, a informacja o tym, że podobne filtry trafią też do Premiere Pro, napawa mnie ekscytacją. Można się spodziewać, że w ciągu kilku lat programy do edycji wideo przejdą bardzo dużą metamorfozę.