Rzeczywistość rozszerzona – z czym się to je?

Od kilku lat słyszymy o rzeczywistości rozszerzonej oraz o tym, jak ma ona zrewolucjonizować nasze życie. Jasne, takie futurystyczne wizje pozostają tym czym są, czyli futurystycznymi wizjami, ale Augmented Reality (w skrócie AR) to i tak temat niezmiernie ciekawy. W dobie finalizowania przez Google projektu Google Glass, którego zadaniem jest nałożenie na ludzkie oko połączonego z internetem wizjera, postanowiłem prześledzić historię tej technologii i sprawdzić najnowsze rozwiązania firmy Qualcomm dotyczące tego segmentu.

Rzeczywistość rozszerzona to dość obszerne pojęcie. Najprościej opisać ją jako system łączący w sobie obraz prawdziwego świata z generowanymi za pomocą komputera obiektami. Nakładanie dodatkowych elementów na obraz z kamery odbywać musi się w czasie rzeczywistym, być interaktywne oraz umożliwiać swobodne ruchy użytkownika w trzech wymiarach. Aplikacji na smartfony i tablety korzystających z Augmented Reality jest już całkiem sporo, ale ograniczenie tematu wyłącznie do generowania obrazu na wyświetlaczach urządzeń mobilnych w celach informacyjnych lub rozrywkowych byłoby jego sporym spłyceniem.

Rzeczywistość rozszerzona nie musi ograniczać się bowiem wyłącznie do obrazu. W teorii prawdziwy świat może zostać wzbogacony przez komputery także o dźwięk, a nawet… zapach. Jest wiele obszarów, gdzie taka rozszerzona rzeczywistość przybierająca bardzo wiele form może zostać zastosowana. Wymienić można tutaj medycynę, gdzie cyfrowy obraz może być pomocny dla lekarza podczas zabiegu. Dzięki odpowiedniej technologii piloci pojazdów lotniczych mogliby za pomocą nakładanych na szybę kokpitu danych “widzieć” ukształtowanie terenu nawet podczas mgły.

Wśród bardziej przyziemnych obszarów można wymienić edukację, gdzie materiały Augmented Reality mogłyby zachęcić najmłodszych do aktywności podczas nauki, a dla osób starszych stać się źródłem dodatkowych materiałów wykraczających poza klasyczny tekst i grafiki. Z rzeczywistości rozszerzonej korzystać mogą też turyści poruszający się po obcym mieście szukający wskazówek dojazdu na miejscu przeznaczenia lub osoby zwiedzające muzea, którym rzeczywistość rozszerzona może serwować dodatkowe materiały multimedialne dla każdego z eksponatów.

Rzeczywistość rozszerzona to nie tylko wartość informacyjna, ale również rozrywkowa. Wraz z rozwojem tej technologii możemy być świadkiem narodzin i adaptacji na szeroką skalę zupełnie nowego typu “gier wideo”, i to nie tylko w postaci np. skanowania kart przez konsolkę Nintendo 3DS, ale też w znacznie szerszym kontekście. Przeniesienie interfejsu gry z ekranu komputera lub telewizora na zakładany na głowę wizjer w połączeniu za pomocą sterowania głosem i ruchem? To byłaby bomba!

Augmented reality to też taki mokry sen dla wszelkiej maści marketerów. Możliwość nakładania w czasie rzeczywistym na prawdziwy świat cyfrowych materiałów reklamowych stwarza nieosiągalne wcześniej możliwości promowania produktów, ale stawia przed nami mnóstwo pytań związanych z ochroną prywatności użytkowników oraz osób, których wizerunek przez takie systemy będzie rejestrowany.

Na rzeczywistość rozszerzoną składa się zarówno oprogramowanie, jak i sprzęt. W tym drugim przypadku za podstawowe urządzenie pozwalające uzyskać dostęp do Augmented Reality można uznać wszelkiej maści smartfony i tablety. Mobilne gadżety mają dotykowe ekrany, kamery o wysokiej rozdzielczości oraz wszelkiej maści czujniki, w tym odbiorniki GPS, akcelerometry, kompasy. Dzięki połączeniu tych wszystkich danych specjalne oprogramowanie może zająć się generacją treści.

Historia rzeczywistości rozszerzonej jest znacznie dłuższa, niż nowoczesnych mobilnych sprzętów, a temat nie ogranicza się wyłącznie do urządzeń z własnym ekranem i kamerą mieszczących się w dłoni. Równie dobrze mogą być to zakładane na głowę wizjery i półprzezroczyste okulary, lub nawet projektory generujące obraz na dowolnej powierzchni. Cała dziedzina stale się rozwija, chociaż jak na razie większość najciekawszych pomysłów to tylko koncepty i prototypy.

Jednym ze zbliżających się urządzeń które mają szansę na rozpropagowanie Augmented Reality na szeroką skalę jest projekt Google Glass, czyli okularach ze specjalnym wizjerem, który prezentuje noszącej go osobie informacje w czasie rzeczywistym widoczne cały czas w kącie oka. Do oficjalnej premiery tego gadżetu pozostało jednak wiele czasu, a w oczekiwaniu na nią możemy korzystać z rozszerzonej rzeczywistości na urządzeniach, które już dziś nosimy w kieszeniach, torbach i plecakach.

Z narzędzi przygotowanych na smartfony i tablety wykorzystujących rozszerzoną rzeczywistość nie sposób nie wymienić aplikacji Layar. Po zebraniu wskazań czujnika GPS i analizie danych z obiektywu aparatu na wyświetlacz nanoszone są informacje o okolicy. Nakierowanie telefonu na budynek wyświetli informacje o znajdujących się w nim siedzibach firm, przeszuka Flickra w poszukiwaniu zdjęć z tej lokalizacji, a nawet sprawdzi historię budynku w Wikipedii. I to wszystko od razu, bez konieczności ręcznego wprowadzania dodatkowych danych.

Podobną funkcję do oferowanej przez Layar posiada Yelp, który skupia się na okolicznych restauracjach i punktach gastronomicznych. Dobrym przykładem może być tutaj Wikitude wyświetlający informacje na temat obiektów w okolicy użytkownika zaciągnięte z Wikipedii. Narzędziem korzystającym z rzeczywistości rozszerzonym i działającym od długiego czasu w Polsce jest natomiast aplikacja Panoramy Firm, która może pokazywać wyniki wyszukiwania i odległość do poszczególnych placówek w postaci tekstowej informacji nałożonej na obraz z kamery.

Jak widać kilka lat temu rozszerzona rzeczywistość była wyłącznie fascynującą wizją, ale dziś jest w zasięgu ręki każdego z nas. W sklepach z aplikacjami na systemy mobilne jest całkiem sporo aplikacji nakładających dodatkowe elementy na obraz rejestrowany przez kamerę. Wśród firm zajmującej się rozwojem technologii pozwalających na istnienie takich aplikacji jest znany głównie z produkcji układ ARM dla smartfonów i tabletów amerykański Qualcomm.

Rozwijany przez Qualcomma projekt Vuforia przeznaczony jest dla twórców aplikacji mobilnych, którzy mogą wykorzystać ten rozwijany i finansowany przez producenta procesorów system w swoich programach. Platforma Vuforia oferuje naprawdę dużo możliwości, a od wyobraźni dewelopera zależy, jak bardzo przydatny i zaawansowany będzie jego końcowy produkt. Powstało już 5,5 tysiąca aplikacji w 130 krajach, a system zanotował już ponad 70 tysięcy zarejestrowanych i zainteresowanych platformą deweloperów.

Podstawowym składnikiem Vuforii jest rozpoznawanie i analiza przechwyconego obrazu. Udostępnione zostało dla tego elementu SDK (Software Development Kit, co można tłumaczyć jako pakiet narzędzi programistycznych). Wykorzystując je programista może zakodować w swojej aplikacji mechanizmy pozwalające na wykrywanie i śledzenie indywidualnych cech danego obrazu, czyli wykrywanie poszczególnych obiektów. Przechwycony przez obiektyw materiał może być porównany ze zgromadzoną wcześniej bazą danych.

Baza danych może być budowana i odczytywana na kilka sposobów. Jednym z nich jest tworzenie jej w obrębie urządzenia mobilnego korzystającego z aplikacji i przetwarzanie wszystkich informacji w ramach wbudowanej pamięci i z wykorzystaniem mobilnego procesora. Drugim sposobem jest przesyłanie danych w locie na zewnętrzny serwer w chmurze, gdzie dopiero dokonywane będą niezbędne obliczenia.

SDK pozwala na śledzenie jednocześnie do pięciu obiektów znajdujących się w polu widzenia na podstawie wykrycia, analizy i interpretacji indywidualnych cech poszczególnych zrejestrowanych klatek. Nie ogranicza się do dwuwymiarowej przestrzeni, a rozpoznawanie obrazu może dotyczyć obiektów trójwymiarowych przez analizę powiązań między charakterystycznymi punktami odniesienia.

Rozpoznany obraz może być wykorzystany do generacji dodatkowej zawartości na kilka sposobów. Za najbardziej podstawowy można uznać wyświetlanie prostej tekstowej informacji na temat rozpoznanych obiektów, np. nazw oglądanych właśnie zabytków lub elementów architektury, pobranie ich z lokalnej lub zewnętrznej bazy danych, a następnie naniesienie na obraz z kamery. Źródłem nie jest tutaj specjalna karta z przygotowanym uprzednio kodem QR, a istniejący rzeczywiście obiekt.

Drugim sposobem na wykorzystanie technologii rozpoznawania obrazu jest generowanie znacznie bardziej zaawansowanych obiektów, w tym np. trójwymiarowych animacji, na podstawie wykrycia konkretnego obrazu lub tła. To może przydać się podczas wycieczki w muzeum lub podczas lektury specjalnie przygotowanego magazynu lub książki. Dwuwymiarowe statyczne elementy mogą wręcz ożyć na ekranie - potrzebne jest oczywiście zakodowanie wcześniej odpowiednich animacji.

Oprócz obrazu Vuforia pozwala na rozpoznawanie tekstu. W podstawowej wersji dostępny jest słownik zawierający ponad 100 tysięcy angielskich słów, ale twórca aplikacji może dodać własną bazę słów. Rozwiązanie Qualcomma pozwala też na odczyt specjalnych dwuwymiarowych kodów o nazwie “Frame Markers”, które przypominają nieco klasyczne czarnobiałe kwadratowe kody QR. Vuforia obiecuje też stały rozwój SDK i dodawanie kolejnych funkcji.

Wśród rozwiązań nad którymi prowadzone są prace można wymienić tzw. Background Effects, czyli nakładanie na obraz wirtualnego promieniowania X lub generację trybu noktowizora. W aplikacji będzie można też stworzyć wirtualne przyciski, które mogą pozwolić na nowy typ interakcji z drukowanymi magazynami. Możliwość zamiany statycznego obrazu w film brzmi świetnie, tak samo jak rozpoznawanie obrazu mimo barier linii widzenia częściowo zasłaniających śledzony obiekt.

Kilka rozwiązań wykorzystujących platformę Vuforia opisał swego czasu na łamach Spider’s Web Tomek Krela. Deweloperzy chcący wykorzystać je samodzielnie mogą skorzystać z takich narzędzi jak Xcode dla systemu iOS oraz Eclipse dla Androida. Możliwe jest dodanie wsparcia Vuforii do istniejących już projektów i nie musi być konieczne napisanie aplikacji zupełnie od zera. Wspierany jest także Unity dla trójwymiarowych gier.

Na stronie internetowej projektu można zapoznać się z listą już ponad stu powstałych aplikacji mobilnych, które wykorzystują Vuforię. Znaleźć je można w sklepach App Store lub Google Play, a w wielu przypadkach przygotowane zostały wersje dla użytkowników obu platform. Zachęcam do przejrzenia listy, bo można natknąć się tam na sporo interesujących pozycji. Vuforię od Qualcomma wykorzystuje między innymi Gameloft, Lego i Warner Bros. W niektórych przypadkach udostępnione zostały Case Study pozwalające poznać proces tworzenia takiego rozwiązania od środka.

Mi do gustu bardzo przypadła aplikacja, która potrafi nanieść wirtualnie w czasie rzeczywistym wybrany telewizor LG na obraz z kamery w dużym pokoju, dzięki czemu można sprawdzić, który z modeli zmieści się na posiadanej już szafce. Podobnie można zresztą sprawdzić ofertę lamp Philipsa. Przyjemność okrywania kolejnych ciekawostek zostawiam Wam, a teraz chciałem przejść do opisu nowości o nazwie Vuforia “Smart Terrain”, która do pakietu SDK trafi dopiero w przyszłym roku, ale zapowiada się naprawdę ciekawie.

Przejęta i finansowana przez Qualcomma platforma Vuforia stale się rozwija i oferuje twórcom aplikacji kolejne funkcje. Na początku września podczas konferencji Uplinq ogłoszono nową funkcję w SDK Vuforii o nazwie “Smart Terrain”, co można przetłumaczyć jako “inteligentny teren”. Sama nazwa co prawdę niewiele mówi, ale dzięki niej deweloperzy będą mogli tworzyć zupełnie nowe aplikacje wykrywające z dużą dokładnością trójwymiarowe obiekty w polu widzenia obiektywu kamery i oznaczyć jest wysokość, szerokość i głębokość. Pozwoli to na wygenerowanie na nich dodatkowych, również trójwymiarowych ale już zupełnie cyfrowych obiektów i późniejszą interakcję użytkownika z takim półwirtualnym środowiskiem.

Brzmi i zapowiada to się obiecująco, ale nie liczyłbym na szybkie pojawienie się wykorzystujących Vuforia “Smart Terrain” aplikacji zbyt szybko. Po pierwsze, nowość dostępna będzie dopiero w kwietniu 2014 roku, a deweloperzy będą musieli poświęcić potem jeszcze czas na zapoznanie się z nową wersją SDK, a także opracowanie i implementację nowych rozwiązań. Ograniczać ich będzie tutaj też hardware, bo nowość w Vuforii będzie do działania wymagać więcej niż jednego aparatu.

Aby wykryć obiekty trójwymiarowe konieczne będzie przetwarzanie obrazu z dwóch kamer jednocześnie. Od kilku lat nie powstał żaden smartfon z trójwymiarową kamerką i wyświetlaczem, a modele takie jak LG Swift 3D i HTC Evo 3D mają jak na dzisiejsze standardy bardzo małą moc obliczeniową. Jak na razie twórcy “Smart Terrain” do pokazania możliwości nowego rozwiązania wykorzystują urządzenie mobilne Sony Xperia Tablet Z z dodatkowym akcesorium czyli dwuobiektywową kamerką o nazwie PrimeSense Capri 3D podłączoną do portu microUSB.

W ramach demonstracji “Smart Terrain” zaprezentowana została prosta gra. PrimeSense Capri 3D przyczepiony do tabletu skierowano na stół, na którym znajdowało się kilka przedmiotów. Prototypowa aplikacja na podstawie obrazu z obu obiektywów wykonuje trójwymiarową mapę obiektów. Po upłynięciu kilku sekund aplikacja określa rozmiary obiektów i buduje wokół nich wirtualne środowisko w ramach warstwy o nazwie SmartMesh. Przygotowana przez twórców gra należy do gatunku tower defense.

Zadaniem gracza jest ochrona jego wieży przed atakującymi stworami, a to wszystko w jego domu, ogrodzie, pracy lub na stoliku w kawiarni. Do stworzenia nowej planszy w takiej grze można wykorzystać wszystkie znajdujące się w zasięgu ręki przedmioty, a ilość kombinacji jest ograniczona wyłącznie wyobraźnią gracza. Możliwości demonstracyjnej gry nie ograniczają się do samego terenu. Można zaimportować za pomocą PrimeSense do gry niemal dowolny przedmiot.

Jestem pewien, że dzieci wprost pokochałyby możliwość sterowania cyfrowymi kopiami swoich ulubionych zabawek. Pytanie tylko, czy system będzie na tyle “smart”, że będzie generował trójwymiarowy obraz na podstawie wykonanych przez użytkownika fotografii pod różnym kątem, czy potrzebny będzie przygotowany przez programistę wcześniej cyfrowy model takiej zabawki, a rozwiązanie będzie ograniczone do zdefiniowanych uprzednio postaci.

Technologia Vuforia już wcześniej była wykorzystywana przez twórców mobilnych gier, ale “Smart Terrain” daje dostęp do masy nowych możliwości. Nie trudno sobie wyobrazić, że możliwość tworzenia tak dokładnej przestrzeni gry na podstawie otaczającej użytkownika prawdziwej przestrzeni może dać mnóstwo frajdy. Już oczami wyobraźni widzę Wściekłe Ptaki fruwające po moim pokoju i przewracające, wirtualnie rzecz jasna, znajdujące się na półkach graty!

W zależności od typu stworzonej przez deweloperów gry postać sterowana przez gracza będzie mogła chodzić po znajdujących się na stole przedmiotach, a nawet “spaść” z biurka, które służyć będzie za planszę. Wygenerowane postaci i obiekty ze względu na rozpoznanie wymiarów znajdujących się w obiektywie elementów mają być, przynajmniej w teorii, bardzo realistyczne. Nie łudzę się jednak na grafikę znaną z next-genowych konsol i domyślam się, że “Smart Terrain” wymaga potężnej mocy obliczeniowej.

Ciekaw tylko jestem, jak twórcy rozwiążą problem braku w nowoczesnych urządzeniach dwóch kamer. Smartfony i tablety dążą do miniaturyzacji, a aparaty i ekrany 3D się ewidentnie nie przyjęły. Jeśli Vuforia “Smart Terrain” będzie wymagała zakupu dodatkowego akcesorium może być to gwoździem do trumny tego bardzo ciekawego i ambitnego projektu. Z drugiej strony nie widzę możliwości osiągnięcia takich jak zapowiadane efektów z wyłącznie jednym aparatem.

Na szczęście nie moja w tym głowa, by ten problem rozwiązać. Sam teraz sobie tworzę w głowie scenariusze rozwoju tej technologii, nie skupiając się na dzisiejszych ograniczeniach. Tak wybiegając w przyszłość, to może kiedyś po jednorazowym zeskanowaniu całego mieszkania za wirtualną planszę mógłby służyć nie tylko stolik, ale cały nasz pokój - a po podłączeniu aplikacji do chmury i połączeniu w jedną olbrzymią bazę danych zeskanowanej przestrzeni przez wszystkich użytkowników aplikacji “Smart Terrain”, wręcz cały świat?

Często mam wrażenie, że moc obliczeniowa komputerów i gromadzone na nasz temat w każdej sekundzie dane nieco się marnują. Badacze i naukowcy z całego świata mają wraz z rozwojem i miniaturyzacją technologii szansę na stworzenie czegoś naprawdę rewolucyjnego i pomagającego w codziennym życiu. Augmented Reality to obszerna dziedzina, która w przyszłości może wnieść do naszego życia wiele dobrego, a także dostarczyć nam masę rozrywki. Rzeczywistość rozszerzona to możliwość przeniesienia rozrywki i gier wideo na zupełnie nowy, nieosiągalny wcześniej poziom.

Oczywiście w kontekście afery PRISM pytania dotyczące prywatności ludzi - zarówno użytkowników korzystających z urządzeń wspierających Augmented reality, jak i wszystkich innych osób, które znajdą się w ich zasięgu wspomaganego cyfrowo wzroku - są bardzo zasadne. Nie wątpię, że dojdzie do wielu nadużyć, a prawo nie nadąży za rozwojem technologii. Odpowiedź na pytania czy, kiedy i w jakim zakresie globalne firmy będą mogły wykorzystywać i przetwarzać zgromadzone przez czujniki urządzeń korzystających z rzeczywistości rozszerzonych danych nie jest prosta.

Wierzę jednak, że w przyszłości znaczenie rozszerzonej rzeczywistości w istotnych z punktu widzenia rozwoju ludzkości obszarach jak medycyna i edukacja, oraz bardziej tych bardziej przyziemnych, jak rozrywka i - nie oszukujmy się, musi się tutaj też ta dziedzina znaleźć - marketing, będzie znacznie większe. Kto wie, może za 10 lat okularów AR będzie na świecie tyle, co dziś smartfonów?

Niezależnie od tego, co przyniesie przyszłość oraz w jakim tempie i w jakim kierunku technologia będzie podążać, to z pewnością będę śledził rozwój rzeczywistości rozszerzonej z wielką uwagą.

Źródła: Wikipedia, Qualcomm.
Zdjęcia Transparent Mini Computer Tablet Phone of the Future oraz Tagcloud - Augmented reality pochodzą z serwisu Shutterstock.

Wpis powstał we współpracy z partnerem merytorycznym Spider’s Web, firmą Qualcomm.