Google zadbał właśnie o to, by dźwięk w VR był taki, jak w rzeczywistości
VR i AR rosną w siłę, ale czym byłaby wirtualna i rozszerzona rzeczywistość widziana oczami, bez towarzyszącym wizji dźwiękom? Google chce o to zadbać osobiście.
Dźwięk przestrzenny nie jest niczym nowym. Od lat dzięki standardom takich firm jak Dolby czy THX cieszymy się odgłosami dobiegającymi zewsząd, zamiast tylko z konkretnego punktu. Im bardziej postępuje technologia, tym bardziej rośnie nasz apetyt na immersję. Także dźwiękową.
W kinie i grach wideo od kilku lat rodzi się nowy standard – Dolby Atmos. To technologia dźwięku przestrzennego, który słyszymy nie tylko z różnych stron, ale także z góry, z dołu, zachowując nawet poczucie odległości od obiektu, który ów dźwięk wydał. Np. grając w gry typu FPS słyszymy, z której strony zakrada się nasz przeciwnik i jak daleko od nas się znajduje. Oglądając film doświadczamy efektu dopplera, gdy nagle dobiega do nas narastający warkot silnika przejeżdżającego samochodu, a potem się oddala.
To jednak wciąż za mało, by odtworzyć dźwięk tak rzeczywisty, jak w prawdziwym świecie. Szczególnie gdy ma on towarzyszyć obrazowi wyświetlanemu w wirtualnej rzeczywistości.
Google ma na to remedium – to Resonance Audio.
Teraz Google udostępnia wszystkim programistom nowe narzędzie – Resonance Audio. To SDK dźwięku przestrzennego bazujący na dotychczasowym Google VR SDK, tyle że działające na platformach mobilnych i desktopowych.
Co potrafi Resonance Audio?
W głównej mierze jego zadaniem jest punktowe przypisywanie dźwięku do obiektów. Nowe SDK potrafi jednak znacznie więcej. Może stworzyć np. dynamicznie reagujący pogłos w pomieszczeniu, który będzie brzmiał inaczej, zależnie od tego, gdzie znajduje się poruszający się obiekt. Wyobraźcie to sobie – zakładacie gogle VR, by wybrać się na wirtualny spacer po zabytkowej katedrze, a echo waszych kroków rozbrzmiewa dokładnie tak, jak robiłoby to w rzeczywistości.
Resonance Audio umożliwia również tworzenie zaawansowanych środowisk dźwiękowych, wykraczających za to, co zwykle nazywamy dźwiękiem przestrzennym. Google używa tutaj przykładu gitary akustycznej – stojąc przed otworem rezonansowym słyszeć będziemy mocniejszy i pełniejszy dźwięk, niż stojąc z boku czy za instrumentem.
Technologia Google’a pozwala też na rozszerzanie się źródła sygnału dźwiękowego, a wraz z SDK Google udostępnia też specjalne narzędzie do przestrzennego rejestrowania dźwięku bezpośrednio wewnątrz silnika Unity.
Mało tego, nowe SDK od Google’a ma pozwolić na stosowanie wielu sygnałów audio bez znaczącego obciążenia dla procesorów. Dzięki zoptymalizowanemu przetwarzaniu sygnału cyfrowego dźwięk zaprogramowany przez Resonance Audio nie będzie wymagał potężnych zasobów CPU, co w dużym skrócie oznacza, że będzie brzmiał równie dobrze na smartfonie, co na potężnym PC.
Kto może skorzystać z nowej technologii Google’a?
Resonance Audio zostało stworzone z myślą o tworzeniu na VR i AR pomiędzy różnymi platformami. I tak SDK działa na Androidzie, iOS, MacOS oraz Linuksie. Integruje się także z silnikami gier, jak Unity, Unreal Engine czy FMOD, oraz oprogramowaniu do udźwiękawiania gier Wwise.
Nowa technologia dostępna jest także jako wtyczka do programów typu DAW.
Resonance Audio to niezwykle ważna nowość, o której mało kto będzie pamiętał, ale... każdy doceni.
Możliwości Resonance Audio można sprawdzić już dziś na goglach Daydream VR oraz SteamVR, pobierając aplikację Audio Factory VR.
O tym, jak istotny jest dźwięk dla odbioru wirtualnej rzeczywistości, bardzo łatwo jest zapomnieć. A jednak zmysł słuchu w „realu” jest dla nas niemniej istotny od zmysłu wzroku – więc i w cyfrowej symulacji nie powinien on być traktowany po macoszemu.
Google oddał właśnie w ręce deweloperów potężne narzędzie, o którym przeciętny użytkownik pewnie zapomni. Każdy jednak doceni Resonance Audio, gdy tylko zetknie się z tą technologią. Tego jestem pewien.
