Kamera z ludzką pamięcią. Polski czujnik reaguje jak mózg

Zwykła kamera rejestruje światło, a później przekazuje informacje do elektroniki, która analizuje obraz. Polscy fizycy stworzyli czujnik działający inaczej, bo potrafi zachować ślad wcześniejszego błysku i wykorzystać go podczas kolejnego pomiaru. Co ciekawe, nie potrzebuje do tego osobnego układu pamięci.

Co więcej, wszystko dzieje się niezwykle szybko, bo urządzenie reaguje na impulsy trwające zaledwie 100 mikrosekund, a podczas jednego z eksperymentów drugi błysk wywołał sygnał silniejszy o 47 proc. W przyszłości podobne rozwiązania mogą pozwolić robotom i kamerom analizować zmiany otoczenia już w momencie odbierania światła.

Wyobraźmy sobie kamerę obserwującą ruch na skrzyżowaniu. Kolejne samochody pojawiają się w kadrze, przemieszczają i znikają. Żeby określić ich kierunek oraz prędkość, system musi porównywać informacje pochodzące z różnych chwil. W tradycyjnym rozwiązaniu światłoczuła matryca zamienia padające światło na sygnały elektryczne. Dane są następnie odczytywane, zapisywane i przetwarzane przez dodatkową elektronikę. Współczesne kamery potrafią oczywiście rozpoznawać ruch, ale wymagają do tego odpowiednich układów i oprogramowania.

Naukowcy próbują znacząco skrócić tę drogę. Chcą, żeby część informacji o zmianach docierającego światła była przechowywana bezpośrednio w samym elemencie światłoczułym. Jak czytamy na łamach portalu Nauka w Polsce, właśnie taką możliwość zademonstrowali badacze z Politechniki Wrocławskiej i Instytutu Fizyki Polskiej Akademii Nauk. Ich czujnik nie odpowiada na każdy błysk w identyczny sposób. Reakcja zależy również od tego, co wydarzyło się chwilę wcześniej.

Nie oznacza to jednak jeszcze, że potrafi samodzielnie rozpoznać samochód, człowieka czy przeszkodę. Zachowuje jednak krótkotrwałą informację o wcześniejszym pobudzeniu, która może posłużyć do budowy bardziej zaawansowanych systemów.

Inspiracją dla polskich fizyków były synapsy, czyli połączenia umożliwiające przekazywanie sygnałów między komórkami nerwowymi. Ich działanie nie zawsze pozostaje takie samo. Jeżeli dwa impulsy pojawiają się w krótkim odstępie, odpowiedź na drugi może być silniejsza. To przykład krótkotrwałej plastyczności synaptycznej, dzięki której wcześniejsza aktywność wpływa na przetwarzanie kolejnego sygnału. Właśnie taki mechanizm naukowcy odtworzyli w układzie elektronicznym.

Zespół kierowany przez Igora Perlikowskiego wykorzystał podstawę krzemową, na której umieszczono bardzo cienkie warstwy tlenku cynku i tlenku cynku zawierającego kadm. Do materiału wprowadzono również europ, pierwiastek pozwalający modyfikować właściwości elektryczne struktury. W opublikowanym badaniu opisano, jak zmiana ilości europu wpływa na działanie urządzenia.

Przy niewielkim stężeniu tego pierwiastka czujnik wykazywał wyraźny efekt pamięci. Kolejne błyski powodowały coraz silniejszą odpowiedź elektryczną, nawet jeżeli każdy miał tę samą długość i intensywność. Zwiększenie zawartości europu zmieniało natomiast charakter pracy układu. Pamięć stawała się znacznie słabsza, a czujnik szybciej reagował na pojawienie się i zanik oświetlenia. Ta sama rodzina materiałów może więc służyć zarówno do bardzo szybkiego wykrywania światła, jak i do budowania elementów naśladujących działanie synaps.

Najbardziej interesujące doświadczenie polegało na oświetlaniu próbki krótkimi impulsami światła o długości fali 405 nm, odpowiadającej fioletowej części widma. Każdy błysk trwał zaledwie 100 mikrosekund, czyli jedną dziesięciotysięczną sekundy. Przerwy pomiędzy impulsami wynosiły 500 mikrosekund.

W takich warunkach drugi błysk powodował przepływ prądu o amplitudzie nawet o 47 proc. większej niż pierwszy. Badacze określili wskaźnik wzmocnienia odpowiedzi synaptycznej na poziomie 147 proc. Najważniejsze, że nie był to efekt zwykłego nakładania się sygnałów. Każdy impuls pozostawał wyraźnie rozróżnialny, a mimo to odpowiedź układu rosła. Oznacza to, że struktura zachowywała informację o wcześniejszym pobudzeniu w czasie krótszym niż 1 ms.

Dla porównania wiele wcześniej badanych optoelektronicznych synaps opartych na podobnych materiałach wymagało impulsów trwających 50 albo 100 ms, a niekiedy jeszcze dłuższych. Polski eksperyment pokazał więc możliwość działania przy znacznie krótszym oświetleniu. Jest to szczególnie istotne zwłaszcza dla przyszłych systemów wizyjnych, które muszą reagować na szybko przemieszczające się obiekty i błyskawiczne zmiany otoczenia.

Skąd właściwie bierze się pamięć w materiale, który nie jest wyposażony w tradycyjny układ przechowujący dane? Kiedy światło pada na krzem, jego energia umożliwia powstawanie nośników ładunku elektrycznego. Dzięki ich przemieszczaniu się przez strukturę można zmierzyć prąd, który informuje o oświetleniu czujnika.

Nie wszystkie ładunki poruszają się jednak swobodnie. Część zostaje zatrzymana w mikroskopijnych pułapkach związanych z defektami materiału i granicami pomiędzy jego warstwami. Po wyłączeniu światła prąd szybko maleje, ale część pułapek nadal pozostaje zajęta. Kiedy pojawia się kolejny błysk, zmieniony stan materiału wpływa na przepływ nowych ładunków. W ten sposób czujnik wykorzystuje wcześniejsze zdarzenie bez zapisywania go w osobnej pamięci elektronicznej.

Co ciekawe, przy braku zewnętrznego napięcia prąd między impulsami niemal powracał do poziomu początkowego. Pamięć pozostawała więc ukryta i ujawniała się dopiero przy następnym błysku. Naukowcy pokazali również, że przyłożenie niewielkiego napięcia -0,1 V pozwala bezpośrednio obserwować stan tej pamięci między impulsami. Ślad nie jest jednak trwały. Z czasem uwięzione ładunki opuszczają pułapki, a układ odzyskuje początkowe właściwości. W zależności od warunków pobudzenia proces trwa od krótkich ułamków sekundy do znacznie dłuższego czasu.

Badacze przygotowali dwie wersje struktury, różniące się zawartością europu. W jednej stężenie tego pierwiastka było bardzo małe, poniżej progu wykrywalności zastosowanej metody pomiarowej. W drugiej było znacznie większe. Efekt okazał się nad wyraz interesujący. Materiał zawierający więcej europu działał przede wszystkim jak szybki fotodetektor, czyli element zamieniający światło na sygnał elektryczny.

Podczas oświetlania światłem o długości fali 650 nm osiągnięto czasy narastania i zanikania sygnału wynoszące odpowiednio około 5 i 7 mikrosekund w określonych warunkach pomiaru. Próbka o mniejszej zawartości europu reagowała inaczej. Część ładunków pozostawała uwięziona dłużej, dzięki czemu kolejne impulsy zmieniały odpowiedź materiału. To właśnie ta wersja mogła pełnić funkcję sztucznej synapsy. Dodatkową zaletą jest możliwość pracy bez zewnętrznego napięcia polaryzującego. Energia docierającego światła wystarcza do wytworzenia mierzalnego sygnału.

Nie oznacza to jednak, że przyszła kamera wyposażona w takie elementy nie będzie potrzebowała zasilania. Odczyt, komunikacja oraz przetwarzanie pozostałych informacji nadal wymagają energii. W części doświadczeń naukowcy stosowali też dodatkowe napięcie do odczytywania pamięci.

Na Spider’s Web opisywaliśmy już wcześniej fototranzystor naukowców z Oregon State University, który potrafi przechowywać ślad wcześniejszego oświetlenia. Amerykański zespół koncentrował się na elektrycznym sterowaniu czasem utrzymywania pamięci. Polscy badacze pokazali natomiast, jak dobrać skład materiału i uzyskać bardzo szybką odpowiedź synaptyczną.

Chyba najbardziej oczywistym zastosowaniem polskiego rozwiązania są przyszłe systemy widzenia maszynowego. W robocie poruszającym się po magazynie albo dronie omijającym przeszkody liczy się nie tylko dokładność rejestrowanego obrazu. Ważne jest również to, jak szybko urządzenie potrafi wyłowić z niego użyteczne informacje.

Jeżeli elementy światłoczułe zachowują ślad wcześniejszych impulsów, można próbować wykorzystywać tę właściwość do wstępnego analizowania zmian oświetlenia i ruchu. Nie wszystkie dane musiałyby być wtedy przesyłane do osobnego procesora w nieprzetworzonej postaci.

Podobne podejście do ograniczania pracy centralnego komputera widzieliśmy w eksperymentalnym czujniku dotyku dla robotów. Tam odpowiednio zaprojektowany materiał zamieniał nacisk bezpośrednio w reakcję mechaniczną. W polskim fotodetektorze część historii sygnału pozostaje natomiast zapisana w elektrycznym stanie półprzewodnika.

Przeczytaj także:

Nie oznacza to jednak, że zespół z Wrocławia i Warszawy zbudował teraz kamerę samodzielnie rozpoznającą ruch. Eksperyment dotyczył tak naprawdę przede wszystkim pojedynczych struktur, których właściwości sprawdzano w kontrolowanych warunkach laboratoryjnych.

Kolejnym wyzwaniem będzie więc połączenie wielu takich elementów w matrycę, zapewnienie powtarzalności ich parametrów i pokazanie, że rzeczywiście ułatwiają analizę obrazów. Dopiero wtedy będzie można porównać ich zużycie energii oraz skuteczność z istniejącymi rozwiązaniami.

*Grafika wprowadzająca wygenerowana przez AI