Nowy Intel Atom o wiele wolniejszy niż oczekiwano. Benchmark AnTuTu zawierał poważny błąd

Wszyscy uważali tak z jednego powodu – wyniku w popularnym benchmarku AnTuTu. Po przeprowadzeniu w nim pierwszych testów nowych Atomów okazało się, że osiągają one wyniki sięgające 43 000 punktów, podczas gdy najlepsze układy Qualcomm Snapdragon 800 oraz Nvidia Tegra 4 nieśmiało przekraczały w nim 30 000 punktów. W Benchmarku bardzo dobre wyniki uzyskiwały też inne procesory Intela, co widać na poniższym wykresie, więc kilku użytkowników postanowiło wziąć benchmark pod lupę.

Okazało się, że w kodzie istnieje błąd, który na urządzeniach z procesorami Intela skraca niektóre testy, tym samym zwiększając ich wynik. Antutu przeprosiło już za zajście i wydało nową wersję programu, w które procesory Intela radzą sobie gorzej o około 20%. Oznacza to, że będą nadal szybsze niż konkurencja, ale niewiele szybsze. Weźmy pod uwagę zwłaszcza to, że nie wiemy, czy w programie nie znajdują się inne błędy, które faworyzują jednostki Intela.

W sieci pojawiły się już teorie spiskowe mówiące, że Intel specjalnie mógł poprosić twórców Antutu (za odpowiednie pieniądze), by nieco popsuli swój benchmark. Ze względu na to, że błąd w programie był łatwy do wykrycia, jest to mało prawdopodobne, ale nie niemożliwe. Zwłaszcza, że historia zna już podobne przypadku manipulacji, z których najbardziej perfidnym jest znikający smok w benchmarku 3DMark 2001 w przypadku posiadania komputera z kartą graficzną Nvidii. Była to najbardziej złożona postać na scenie i jej zniknięcie znacznie podnosiło wynik testów.

Obecne benchmarki też nie są wolne od manipulacji, czego przykładem może być nowy 3D Mark, w którym jednostki Nvidii uzyskują bardzo dobre wyniki, z kolei Basemark faworyzuje procesory Qualcomma. Podobnie jest w świecie komputerów osobistych, gdzie chociażby benchmark wbudowany w grę Tomb Raider znacznie faworyzuje karty graficzne Radeon, a ze względu na ogromne dawki tesselacji test Crysisa 2 lepiej działał na kartach Nvidii.

Czy jednak oznacza to, że benchmarki są złe? I tak, i nie. Jeśli benchmark jest dobry, powtarzalny i odpowiada temu, co oferuje gra, można z niego korzystać. Dlatego zanim wprowadzę grę do procedury testowej, najczęściej ją przechodzę. Może wydawać się to śmieszne, ale to pracochłonna praca, która pozwala robić wartościowe testy. No i zawsze przy okazji znajduje się kilka ciekawych miejsc testowych, które pozwalają na przetestowanie gry nie tylko we wbudowanym benchmarku, ale też według własnych preferencji, zależnie od tego czy chcemy przetestować procesor, czy kartę graficzną.

Z drugiej strony warto dodać, że niemal niemożliwe jest samodzielne przeprowadzenie tak powtarzalnego testu jak w przypadku benchmarku. Krótko mówiąc: Czy warto więc używać benchmarków? Tak, jeśli sprawdziliśmy je i jesteśmy pewni, że nie są one w zbyt dużym stopniu zmanipulowane. Bo pół biedy, jeśli producent zoptymalizował nie tylko benchmark, ale też całą grę. Niestety zdarza się tak, że wydajność w benchmarku i grze ma niewiele wspólnego. Tak było chociażby w dosyć starej już grze Company of Heroes.

Konkluzja z całej tej sytuacji jest dosyć przykra. Otóż o ile rzetelne testowanie tradycyjnych komputerów jest możliwe ze względu na ogromną liczbę aplikacji, które nie służą do testów, ale można je do tego celu wykorzystać, to na smartfonach i tabletach większość programów nadających się do testowania to benchmarki syntetyczne, które nie zawsze są, ale mogą być zmanipulowane. I nie chodzi tu o celowe działanie twórców programu, a o twórców sprzętu, którzy zrobią wszystko, by ich sprzęt w danym programie będzie działać lepiej.

Dlatego testując sprzęt mobilny trzeba wybierać nie tylko najpopularniejsze programy takie jak AnTuTu czy Quadrant, ale przede wszystkim mniej popularne, ale dobrze rokujące i polecane przez społeczność benchmarki. Ja w ten sposób ponad dwa lata temu zacząłem korzystać z mało znanego programu… AnTuTu.