Movie Gen edytuje nagrania wideo komendami tekstowymi
Meta Movie Gen służy dokładnie do tego, co nazwa sugeruje. To wykorzystujący GenAI model, który potrafi wygenerować wideo do 16-sekund na bazie tekstowego opisu użytkownika. Narzędzie to jednak znacząco wykracza ponad wcześniej zaprezentowane przez OpenAI i Google’a wynalazki.
Na dziś generatywne wideo to coś, co nadal jest w powijakach. Istnieją już publicznie dostępne modele zdolne do generowania realistycznie wyglądających sekwencji, ale efekt końcowy nadal pozostawia wiele do życzenia. Z kolei te naprawdę imponujące modele, których klipy są nieodróżnialne od prawdziwych nagrań, nadal nie są publicznie dostępne. Prawdopodobnie między innymi z uwagi na fakt, że niektóre z wygenerowanych przez nie dzieł jednak nadal nie wygląda za dobrze.
Meta również uczestniczy w tym wyścigu gigantów. Do tej pory szczególnym punktem jej oferty był model Llama, stanowiący otwartoźródłową konkurencję dla GPT. Movie Gen to jednak coś innego - podjęcie wyzwania, jakie rzuciła Sora. Niestety nie jest jeszcze publicznie dostępny. Z opisu Mety robi jednak duże wrażenie.
To też jest ciekawe:
Movie Gen nie tylko generuje nowe wideo - potrafi też edytować te już nagrane
To największa przewaga modelu Mety nad mainstreamową konkurencją. Użytkownik może przekazać modelowi nagranie wideo i nakazać mu edycję używając poleceń tekstowych. Na przykład zmień fakturę ścian na drewnianą. Albo umieść kubek w dłoni postaci na całą długość sceny.
Imponować też udźwiękowienie filmów, czyli coś, z czym konkurencja jeszcze się na poważnie nie zmieniła. Kreacje Meta Movie Gen są w pełni udźwiękowione. Wygenerowany wodospad będzie przekonująco szumiał, wyścigowy samochód ryczał swoim silnikiem, a wygenerowany las ma wypełnić się dźwiękami natury i śpiewem ptaków.
Sam model składa się z 13 mld parametrów. Na dziś nie jest w stanie wygenerować dłuższego materiału niż 16-sekundowy w rozdzielczości HD. Meta twierdzi jednak, cytując własne badania, że jakość obrazu w tych nagraniach przewyższa konkurencję. Tę deklarację należy brać oczywiście z ogromnym dystansem, przynajmniej dopóki Movie Gen nie stanie się publiczny. Na dziś Meta nawet nie deklaruje kiedy to może się stać, używając języka - tu cytat - potencjalnej przyszłej premiery.
Niestety powyższe nakazuje ostudzić entuzjazm. Deklaracje Mety mogą być bowiem… nieco zbyt optymistyczne względem możliwości Movie Gen, zalecam sceptycyzm. Tym niemniej jeżeli w tym przypadku porada ta okazałaby się nietrafiona, to w istocie Meta nie tylko wyprzedziła konkurencję - to na dodatek rzuciła wyzwanie branży klasycznego oprogramowania do edycji wideo.
Ciekawe czy ta w jakiś sposób zareaguje.
