Twoje oko zdradza na co patrzysz. Opracowali sposób, żeby to wykorzystać
Żeby zobaczyć, co robisz na komputerze podczas spotkania w pracy nie potrzeba oprogramowania śledzącego, ani nawet stawać ci za plecami. Wystarczy spojrzeć ci w oczy. Choć technologia potrzebuje dopracowania, to naukowcom już teraz całkiem sprawnie udaje się odtworzyć w 3D widok tego, na co właśnie zwrócone jest twoje oko.
Jedną z ciekawych właściwości oka jest jego powierzchnia, która odbija widok obiektów, na które aktualnie jest zwrócone oko. To nie tylko popularny motyw w sztuce czy fotografii, ale także swego czasu zainspirował twórców serialu CSI do przedstawienia futurystycznej wizji, w myśl której możliwym jest odtworzenie ostatnich chwil ofiary na podstawie odbić z gałek ocznych.
Choć metoda używana w CSI to czysta fikcja, to od ponad dekady odbicia na powierzchni oka stanowią obiekt zainteresowania naukowców. Próby odtworzenia całych portretów osób na odbiciach w ludzkim oku podjęli się choćby brytyjscy naukowcy w 2013 roku. Teraz uczeni z Uniwersytetu Maryland podnoszą poprzeczkę, rekonstruując trójwymiarowe obiekty wyłącznie z odbić obrazu na rogówce.
Ile można zobaczyć w rogówce? Całkiem sporo
W nietypowym eksperymencie naukowcy wykorzystali technologię Neutral Radiance Field (NeRF). W dużym uproszczeniu, NeRF polega na generowaniu wizualizacji 3D obiektu lub sceny z obrazów 2D przy użyciu zaawansowanego uczenia maszynowego. Technologia działa poprzez pobieranie obrazów wejściowych reprezentujących scenę i przeplatanie ich między sobą w celu wygenerowania jednej, kompletnej sceny.
W publikacji dostępnej w archiwum arXiv uczeni z Uniwersytetu Maryland zaprezentowali opracowaną przez siebie, dość prostą metodę na to jak można zrekonstruować obraz z rogówki oka z użyciem NeRF. Najpierw wykonali oni osobie badanej kilkanaście zdjęć w wysokiej jakości, podczas robienia których osoba poruszała się po pomieszczeniu. Następnie owe zdjęcia powiększono i poddano obróbce, która miała na celu usunięcie zniekształceń i szczegółów, potencjalnie mogących zdeformować obraz (np. kolor tęczówki). Następnie fotografie oddano w ręce systemu uczenia maszynowego, który wygenerował sceny z odbić w rogówce.
Efekty eksperymentu są dość różne, a całą galerię animowanych obiektów i scen można obejrzeć na stronie world-from-eyes.github.io.
Póki co technologia wydaje się być bardziej ciekawostką i fascynującym faktem ze świata nauki niż realnym wykorzystaniem NeRF czy marzeniem twórców CSI. Jednak badacze podjęli się także eksperymentu poza badaniami naukowymi i wykorzystali NeRF do odtworzenia obiektów, na jakie patrzyły... Miley Cyrus i Lady Gaga, odpowiednio w teledyskach do "Wrecking Ball" i "Bad Romance".
Udało nam się zrekonstruować obiekt, który pojawia się w oczach Miley i obserwujemy obiekt przypominający górną część ciała z oczu Lady Gagi. Jednak ze względu na jakość tych filmów, poprawność rekonstrukcji jest niejasna.
