„Jednooki król”. Tak mówią o iPhonie SE jedni z największych speców od fotografii mobilnej

O aplikacji Halide pisałem na łamach Spider’s Web już niejednokrotnie, bo faktycznie jest ona niezwykła. Z jednej strony oferuje świetny interfejs wykorzystujący smaczki iPhone’a, takie jak np. haptyczne wibracje przy zmianie parametrów. Nic w tym dziwnego, bo aplikację tworzył m.in, były projektant Apple.

Z drugiej strony, za Halide stoją niesamowicie dociekliwe umysły jednych z największych specjalistów branży obrazowania mobilnego. Z wielką ciekawością śledzę blog Halide prowadzony na platformie Medium. Jest to przepotężna kopalnia wiedzy i ciekawostek o działaniu algorytmów napędzających aparaty iPhone’a.

Dzięki inżynierii wstecznej zespół Halide rozkłada na czynniki pierwsze zasady działania trybu portretowego, sposobu odszumiania zdjęć, czy tworzenia plików Smart HDR i Deep Fusion z iPhone'ów. Pozyskane informacje są wdrażane do aplikacji Halide, dzięki czemu wykorzystuje one pełen potencjał matrycy iPhone’a… przynajmniej na tyle, na ile pozwala Apple i jego API. Jeśli jednak chciałbyś spróbować zdjęć RAW lub trybu manualnego na iPhonie, nikt nie da ci więcej od Halide.

W nowym wpisie na blogu zespół Halide skupia się na tym, w czym jest najlepszy, a więc na oprogramowaniu aparatu iPhone’a SE. Główny nacisk położono na trybie portretowym realizowanym przy użyciu pojedynczego obiektywu.

iPhone SE jest pierwszym iPhone’em, który potrafi wygenerować rozmycie tła bazując wyłącznie na pojedynczym zdjęciu 2D i analizie obiektów. Skąd taki wniosek, skoro iPhone XR również miał jeden obiektyw i oferował bardzo sprawny tryb portretowy? Okazuje się, że aparat iPhone’a XR był bardziej zaawansowany i mimo jednego obiektywu oferował sprzętowe wykrywanie głębi za sprawą matrycy, a konkretnie technologii „Focus Pixels”.

„Focus Pixels” to nazwa stosowana przez Apple, ale dotyczy ona znanego w branży ustawiania ostrości określanego jako Dual Pixel Auto Focus (DPAF; nie mylić z PDAF, czyli Phase Detection Auto Focus). Z DPAF korzysta też Google w swoich Pixelach, czym zresztą ochoczo chwali się na swoim blogu. Technologia Dual Pixel znajduje się też w lustrzankach i bezlusterkowcach Canona i dzięki niej od kilku lat aparaty tej firmy świetnie radzą sobie z ustawianiem ostrości w wideo.

W dużym skrócie, technologia DPAF sprawia, że każdy piksel na matrycy może jednocześnie śledzić ostrość, ponieważ jest sprzężony z autofocusem w aparacie. Dane z matrycy są wykorzystywane do szybszego ustawiania ostrości. Tych samych danych można użyć do stworzenia mapy głębi, ponieważ aparat w pewnym stopniu wie, co znajduje się na pierwszym planie. Tak właśnie działa wykrywanie głębi w iPhonie XR.

Aparat w iPhonie SE bazuje na trzyletniej matrycy iPhone’a 8, która nie jest wyposażona w technologię DPAF. Jednocześnie nie ma tu drugiego obiektywu pomagającego w wykrywaniu głębi, a mimo to iPhone SE ma działający tryb portretowy. Specjaliści z Halide przeanalizowali mapy głębi zdjęć portretowych z iPhone’a SE i odkryli, że jest to pierwszy iPhone wykrywający głębię wyłącznie na bazie analizy obrazu, bez żadnego wsparcie sprzętowego.

Innymi słowy, algorytmy starają się zgadnąć, co jest na pierwszym, a co na drugim planie. Taki system jest znacznie bardziej narażony na błędy, a jednak iPhone SE radzi sobie z rozmywaniem tła zaskakująco dobrze. Choć nie idealnie, co również punktuje Halide.

Na ogół efekty są jednak dobre.

Twórcy Halide zrobili ciekawy tekst, w którym zrobili iPhone’em zdjęcie zdjęcia. Aparat wykrył postać i rozmył za nią tło, choć miał do czynienia z płaskim obrazkiem. W takich warunkach pozostałe iPhone’y nie rozmywają tła.

To wszystko kolejny raz pokazuje, jak ważne jest oprogramowanie aparatu. Aparat iPhone’a SE to najpewniej ten sam moduł co w iPhonie 8. Mimo to Ósemka nie ma trybu portretowego, a SE ma. Efekt udało się osiągnąć wyłącznie dzięki sztuczkom programowym.