Szumy na zdjęciach wkrótce przejdą do historii. Zajmie się tym algorytm Nvidii
Noise2Noise to nowy algorytm maszynowego uczenia się, opracowany przez dział badawczy Nvidii przy współpracy z naukowcami z MIT i Uniwersytetu Aalto. Jego możliwości, jeśli chodzi o odszumianie i rekonstrukcję zdjęć, wpędzą w kompleksy niejednego, ludzkiego retuszera.
Chyba każdy fotograf miał problemy z szumem na swoich zdjęciach. Robienie zdjęć w trudnych warunkach oświetleniowych (potęgowanych niekiedy słabym sprzętem) bardzo często kończy się dość kiepskim rezultatem. W przypadku amatorskiego fotografowania szum na zdjęciach jest jeszcze dopuszczalny.
Noise2Noise to narzędzie naukowe. Przynajmniej na razie.
Co innego, jeśli mówimy o naukowej astrofotografii, która pozwala odkrywać nam coraz to nowe egzoplanety, albo np. o obrazowaniu metodą rezonansu magnetycznego stosowanym w medycynie. Brak szumów w przypadku takich fotografii ma znacznie większe znaczenie. Dlatego też twórcy Noise2Noise zajęli się tego typu fotografiami.
Żeby nauczyć rozpoznawać szum biorący się z niedoskonałości sprzętu, naukowcy pokazali najpierw algorytmowi 50 tys. zdjęć z bazy ImageNet. Zdjęcia były ostre i pozbawione szumów. Kolejnym krokiem było ich sztuczne zaszumienie i przepuszczenie ich kolejny raz przez algorytm, tak aby sam nauczył się rozpoznawać elementy niepożądane na zdjęciach. Wynik tego eksperymentu okazał się jak najbardziej zadowalający:
Kolejnym krokiem było nakarmienie sztucznej inteligencji zdjęciami wykonanymi metodą rezonansu magnetycznego. Noise2Noise otrzymał 5 tys. zaszumionych w różnym stopniu zdjęć mózgów (wykonanych 50 ochotnikom) i spróbował samodzielnie uzyskać jak najlepszy obrazek.
Tutaj wynik okazał się trochę gorszy. Wyretuszowane przez algorytm zdjęcia są trochę nieostre. Uczciwie jednak trzeba przyznać, że to dopiero wstępne testy algorytmu. Jacob Munkberg z Nvidii twierdzi, że nie jest to jeszcze pełnia możliwości Noise2Noise.
Po co nam algorytmy tego typu?
Nie licząc zastosowania komercyjnego, algorytmy do retuszu i odszumiania zdjęć są niezwykle wyczekiwane przez środowiska naukowe. Poczynając od astronomów, którym marzą się najostrzejsze i pozbawione sztucznych artfekatów zdjęcia kosmosu, a kończąc na neurochirurgach, którzy przed rozpoczęciem operacji muszą brać pod uwagę każdy cyfrowy pyłek.
Oczywiście, jak zwykle w przypadku algorytmów nazywanych potocznie sztuczną inteligencją, pojawia się pytanie, czy nie popełnią one jakiegoś kardynalnego błędu podczas retuszu zdjęcia. Podczas testów Noise2Noise niczego takiego nie zarejestrowano, a sami naukowcy z Nvidii, MIT i Uniwersytetu Aalto twierdzą, że po dokonaniu kilku ulepszeń Noise2Noise będzie mógł być stosowany bez większych obaw przez środowisko naukowe.
Podejrzewam zresztą, że jeśli wszystko pójdzie zgodnie z planem, algorytm ten trafi również do użytku komercyjnego. Sam chętnie przepuściłbym swoją bazę zdjęć przez taki inteligentny odszumiacz.
