Foto  / Artykuł

Kamera policzy ludzi, zmierzy im temperaturę i przewidzi, w którą stronę pójdą. Tak działają nowe matryce Sony

Aparat ze sztuczną inteligencją nie musi oznaczać prostego rozpoznawania scen i podbijania kolorów. Sony pokazało pierwsze na świecie matryce, w których sztuczna inteligencja jest wbudowana w sam sensor. Otwiera to zupełnie nowe zastosowania dla aparatów i kamer.

Sony pokazało pierwszą na świecie matrycę fotograficzną z funkcją przetwarzania obrazu opartą na sztucznej inteligencji. Ale zaraz - powiecie - przecież aparaty z AI widzimy przynajmniej od kilku lat. Dopisek o sztucznej inteligencji nie raz i nie dwa widzieliśmy przy aparatach smartfonów.

Dotychczas całość opierała się jednak na procesorze, który analizował obraz dostarczony z matrycy. Zastosowania sztucznej inteligencji na ogół nie były spektakularne, bo sprowadzały się do poprawy kolorów i optymalizacji parametrów nastaw pod kątem danej sceny.

Tymczasem nowe rozwiazanie Sony jest dalece bardziej zaawansowane. Producent pokazał pierwsze matryce, które mają wbudowaną sztuczną inteligencję.

Sony rozpoczyna coś, co może się okazać nową erą w obrazowaniu.

sony matryce ze sztuczną inteligencją

Nowe matryce Sony noszą nazwy IMX500 i IMX501. Pod kątem parametrów technicznych mamy tu do czynienia z sensorami charakterystycznymi np. dla smartfonów. Obie matryce mają rozdzielczość 12,3 megapiksela i przekątną 1/2,3 cala.

Sensory są wykonane w technologii BSI, a więc w uproszczeniu budowa matrycy przypomina kanapkę. Jedna z warstw jest układem logicznym zajmującym się przetwarzaniem obrazu na żywo. Bezpośrednio w tej warstwie jest zaszyta pamięć modelu AI oraz procesor sygnałowy Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji.

Jakie są zastosowania matryc ze sztuczną inteligencją?

To rozwiązanie początkowo raczej nie znajdzie się w smartfonach. Matryce mają szansę trafić do urządzeń IoT oraz do kamer stosowanych w handlu detalicznym i sektorze urządzeń przemysłowych.

Warstwa wbudowanej sztucznej inteligencji sprawia, że przetwarzaniem obrazu nie zajmuje się procesor, więc ten element może być słabszy niż dotychczas. Tym samym można tworzyć tańsze urządzenia o mniejszym poborze mocy. Matryce tego typu sprawdzą się też w rozwiązaniach chmurowych, gdzie trzeba magazynować dane. Wyjściowymi danymi z przetwornika nie muszą być informacje o obrazie, a np. metadane, co rozwiązuje problem dużej ilości danych i ochrony prywatności.

Co potrafi matryca ze sztuczną inteligencją?

sony matryce ze sztuczną inteligencją

Wbudowana warstwa sztucznej inteligencji ma bardzo wiele zastosowań. Przykładowo, matryca może zostać zoptymalizowana nie tylko do liczenia ludzi wchodzących do budynku, ale też przewidywania ich ruchu. Można też tworzyć mapy ciepła i tym samym monitorować temperaturę otoczenia, w tym ludzi znajdujących się w budynku.

Odpowiednio zoptymalizowany system pozwoli śledzić zachowania klientów w sklepie, kontrolować ilość towaru na półce, czy wykrywać niebezpiecznie duże zagęszczenie ludzi na lotnisku. To wszystko dzieje się na poziomie samej matrycy, z praktycznie zerowym opóźnieniem. Kamery z takimi matrycami odnalazłyby się np. w sklepach pokroju Amazon Go, gdzie nie ma kasjerów, ani nawet automatycznych kas. Produkty bierzemy z półki i wychodzimy, a system automatycznie obciąża kartę stosowną kwotą.

sony matryce ze sztuczną inteligencją

Co więcej, taki monitoring jest rewolucją jeśli chodzi o przechowywanie materiału. Nie trzeba bowiem zapisywać danych o obrazie, pikseli po pikselu, klatka po klatce. Można posłużyć się zapisem metadanych lub zapisem wyselekcjonowanego obszaru (tzw. regionu zainteresowania). Dzięki temu systemy monitoringu będą mogły odchudzić swoje serwerownie.

Matryca Sony IMX500 jest już dostępna w cenie 10 tys. jenów japońskich (niecałe 400 zł). Model Sony IMX501 wykorzystuje ten sam sensor, ale obudowany w moduł ułatwiający użycie w finalnych produktach. Trafi na rynek w czerwcu w cenie 20 tys. jenów, czyli za ok. 800 zł.

Nie przegap nowych tekstów. Obserwuj Spider's Web w Google News.

przeczytaj następny tekst


przeczytaj następny tekst


przeczytaj następny tekst


przeczytaj następny tekst


przeczytaj następny tekst