Naukowcy stworzyli okulary czytające z ruchu twoich ust. Nawet nie wiesz, jak bardzo ich potrzebujesz
Wyobraź sobie, że idziesz ulicą i przechodząca właśnie osoba wykonuje ruchy ust. Opcji jest kilka: żuje gumę, ma coś pomiędzy zębami lub... właśnie wysyła SMS-a. Tak właśnie przyszłość wyobrażają sobie naukowcy.
![Naukowcy stworzyli okulary czytające z ruchu twoich ust. Nawet nie wiesz, jak bardzo ich potrzebujesz](/_next/image?url=https%3A%2F%2Focs-pl.oktawave.com%2Fv1%2FAUTH_2887234e-384a-4873-8bc5-405211db13a2%2Fspidersweb%2F2023%2F04%2Fechospeech-okulary-sonar-sztuczna-inteligencja.jpg&w=1200&q=75)
Google Glass to powiedzmy sobie, niezbyt udana decyzja Google jeżeli chodzi o produkcję elektroniki noszonej. Z kolei Apple Glass to byt mitologiczny, który miał mieć premierę w czerwcu, ale raczej się podczas WWDC nie pojawi. Skoro nawet giganci technologiczni nie są w stanie nam dostarczyć inteligentnych gadżetów, to zostaje jedno: nauka.
Naukowcy z Uniwersytetu Cornell w Stanach Zjednoczonych opracowali własny prototyp inteligentnych okularów. Ich potencjał tkwi w sztucznej inteligencji, którą użytkownik może wytrenować do rozpoznawania nawet 31 "cichych" komend - opartych wyłącznie na ruchu ust.
Inteligentne okulary z sonarem i sztuczną inteligencją na pokładzie
EchoSpeech, jak nazwali swój wynalazek badacze, miałby zastosowanie przede wszystkim u osób, które mają problem w komunikacji przy użyciu głosu. Bowiem okulary można sparować ze smartfonem i przy użyciu odpowiednio zaprojektowanej aplikacji używać telefonu jako syntezatora mowy.
Jednak znaczna część społeczeństwa nie ma problemów w komunikowaniu się głosem. Według głównego autora pracy, Ruidonga Zhang, nie oznacza to, że byliby oni wykluczeni z używania EchoSpeech. Okulary mogłyby okazać się przydatne choćby w miejscach, gdzie należy zachować ciszę lub nie wyjmować telefonu oraz tam, gdzie jest zbyt głośno, żeby komunikacja głosowa miała sens.
![](/_next/image?url=https%3A%2F%2Focs-pl.oktawave.com%2Fv1%2FAUTH_2887234e-384a-4873-8bc5-405211db13a2%2Fspidersweb%2F2023%2F04%2Fechospeech-okulary-800x1000.jpg&w=1200&q=75)
Jak działa EchoSpeech? "Przenosimy sonar do ciała"
Z opisu możliwości EchoSpeech można wywnioskować, że do odczytywania ruchu ust urządzenie używa kamer. Jednak za działaniem całego systemu stoją mikrofon i głośnik - według badaczy "mniejsze niż gumka od ołówka" - które razem działają jak sonar.
EchoSpeech stale wysyła i odbiera fale dźwiękowe na powierzchni twarzy, pozwalające wykryć ruchy ust. Następnie informacje przetwarzane są w czasie rzeczywistym przez algorytm uczenia głębokiego, który daje odpowiedni sygnał smartfonowi jeżeli wykryta zostanie komenda ustna powiązana z aplikacją. Jak podają badacze, podczas testów system wykazał 95-procentową skuteczność wykrywania poleceń.
Wykorzystanie sygnałów dźwiękowych zamiast obrazu z kamer przynosi kilka benefitów zarówno dla urządzenia, jak i jego użytkownika. Choć EchoSpeech mają dość masywne - w porównaniu do zwykłych okularów - oprawki, to urządzenie nadal pozostaje na tyle lekkie, by nie powodować dyskomfortu. Informacje dźwiękowe mają też mniejszy rozmiar (w porównaniu do obrazów), a co za tym idzie, mogą korzystać z łączy o mniejszej przepustowości, takich jak np. Bluetooth. Ponadto prototyp urządzenia cechuje się bardzo niskim poborem mocy i już kilka minut ładowania wystarczy by spokojnie wyjść z okularami z domu.
"A ponieważ dane są przetwarzane lokalnie na smartfonie, a nie przesyłane do chmury, poufne informacje nigdy nie opuszczają kontroli użytkownika".
- podsumowuje profesor Francois Guimbretiere, jeden z autorów pracy