Że co proszę? Galaxy S21 Ultra na 17 pozycji w DxO to ostateczna kompromitacja tego rankingu

Ranking DxO Mark od dawna jest karykaturą samego siebie, ale z jakiegoś powodu rozliczne branżowe media i entuzjaści dalej traktują go jak wyrocznię. Cóż, zdecydowanie powinni przestać, po tym jak Samsung Galaxy S21 Ultra zajął raptem 17. pozycję w rankingu aparatów w smartfonie i poniósł sromotną porażkę z Oppo i Xiaomi w rankingu audio. Mało tego - w kwestii aparatów przegrał nawet z… Galaxy S20 Ultra.

Samsung Galaxy S21 Ultra z procesorem Exynos zdobył 121 punktów w rankingu, co dało mu siedemnaste miejsce. Tyle samo punktów otrzymał Huawei Mate 30 Pro, punkt mniej ma Galaxy Note 20, zaś Galaxy S20 Ultra otrzymał rok temu 126 punktów.

Do czołówki zaś daleko. Huawei Mate 40 Pro+ dominuje ze 139 punktami, tuż za nim uplasował się Huawei Mate 40 Pro. Wyżej od Galaxy S21 Ultra jest nawet dwuletni iPhone 11 Pro Max oraz ubiegłoroczny iPhone 12 Pro.

Najbardziej kuriozalna w tym wszystkim jest jednak pozycja Galaxy S20 Ultra, który otrzymał wyższe noty w tych samych testach. I tu wchodzimy w kategorię „kurioza”, gdy przyjrzymy się bliżej punktacji obydwu urządzeń.

Dla przykładu: w kategorii „bokeh” Galaxy S20 Ultra otrzymał 75 punktów, zaś Galaxy S21 Ultra tylko 70. Jakim cudem, skoro w obydwu smartfonach mamy ten sam sensor, z tym samym obiektywem, produkujące identyczne rozmycie tła?

Idąc dalej: Galaxy S20 Ultra otrzymał 114 punktów za obiektyw tele, a S21 Ultra tylko 96. Przepraszam bardzo, ale gołym okiem widać poprawę jakości zoomu w nowym aparacie, nawet na zdjęciach poglądowych dołączonych do testu DxO.

Ale już do końca rozkłada na łopatki punktacja za autofocus, gdzie Galaxy S20 Ultra otrzymał 96 punktów, a Galaxy S21 Ultra 91. Tak, ten sam Galaxy S20 Ultra, który od dnia premiery miał i do dziś ma problemy z ustawianiem ostrości.

Na zdjęciach testowych widać też wyraźnie zachowania, których nie zauważył chyba żaden ze znanych mi testerów, jak np. bardzo wysokie szumy w zdjęciach nocnych czy problemy z trybem portretowym. Ten drugi przykład jest o tyle dziwniejszy, iż wszyscy recenzenci zgodnie chwalili Samsunga za znaczącą poprawę jakości trybu portretowego względem poprzedniej generacji, a jednak wg DxO to ubiegłoroczny S20 Ultra lepiej rozmywa tło.

Powiem więcej - przy wielu porównaniach bezpośrednich ujęcia wyglądają tak, jakby były robione uszkodzonym egzemplarzem telefonu. Bo jak inaczej wytłumaczyć fakt, że postawione obok siebie Galaxy S21 Ultra i S20 Ultra produkują tak różne rezultaty, pomimo niemal identycznego toru optycznego?

Widać też rażące błędy w metodologii. Dla przykładu - w teście przybliżenia DxO Mark porównuje różne zakresy ogniskowych między S21 Ultra, S20 Ultra i Huawei Mate 40 Pro, nie biorąc pod uwagę faktu, że S21 Ultra przy 8-krotnym powiększeniu korzysta z cyfrowego cropu z głównego sensora (co musi skutkować słabą jakością), zaś przy 10-krotnym przełącza się na dedykowany obiektyw tele o znakomitej jakości. I podobnie w pozostałych porównaniach rozpiętości zoomu - DxO, chcąc uzyskać zbliżone ogniskowe, nie zważa na to, czy korzysta z optycznego, czy hybrydowego powiększenia obrazu, a w efekcie w większości pokazuje cyfrowy crop, zamiast kadrów złapanych przy użyciu dedykowanego obiektywu.

Potencjalnej przyczyny tego blamażu można jednakże upatrywać przede wszystkim w dacie publikacji i braku należytego przygotowania telefonu. Ze zrzutów ekranu wynika, iż testy zostały przeprowadzone 3 lutego, czyli tuż po rynkowej premierze telefonu. Co więcej, na zrzutach widać, iż telefon wciąż wyświetla powiadomienie Galaxy Setup, które wyświetla się tuż po pierwszej konfiguracji telefonu. To prawdopodobnie oznacza, iż DxO przystąpiło do swoich testów zanim skonfigurowało i poużywało telefonu, a przede wszystkim zanim zainstalowało aktualizacje, które producenci zwykle wypuszczają w dniu premiery. Dziennikarze technologiczni bardzo często są proszeni o wstrzymanie się z oceną niektórych funkcji do czasu wypuszczenia finalnej wersji oprogramowania, jeśli otrzymują telefon przed jego oficjalną premierą. Jest to powszechna praktyka, której tutaj DxO prawdopodobnie nie dotrzymało.

Nie potrafię jednak znaleźć usprawiedliwienia dla testu zoomu, w którym zamiast wykonywać zdjęcia na 70 i 240 mm (ekwiwalencie ogniskowych w obiektywach) wykonano je na 110 i 200 mm, gdzie Galaxy S21 Ultra siłą rzeczy był skazany na porażkę, bo nie wykorzystywał pełni swoich możliwości.

Nie twierdzę, iż Galaxy S21 Ultra ma najlepszy aparat i powinien zająć miejsce w czołówce rankingu. Wprost przeciwnie, Huawei Mate 40 bezwzględnie wygrywa i zasłużenie okupuje topowe pozycje, a w niektórych sytuacjach iPhone 12 Pro Max okazuje się być lepszym narzędziem fotograficznym, pomimo braku porządnego zoomu optycznego i nieporównywalnie niższej rozdzielczości głównego sensora.

Ranking DxO Mark jest jednak dla branży bardzo istotnym wyznacznikiem, na bazie którego wielu kupujących formuje decyzje zakupowe, a wielu dziennikarzy wspiera się nim przy wydawaniu opinii o urządzeniach. W takim rankingu nie powinno być miejsca na tak nierzetelne, metodologicznie niepoprawne testy. Na tak niechlujne podejście do tematu mogą sobie pozwolić blogerzy i dziennikarzy robiący testy „organoleptycznie”. Nie zaś instytucja, która ma się za wyrocznię.