Prawie wszyscy producenci smartfonów mydlą nam oczy, ale Samsung najbardziej
Gdy wczoraj pojawił się wysyp informacji na temat tego, że Samsung prawdopodobnie sztucznie zawyża wyniki testów wydajności swoich urządzeń, wiele osób zastanowiło się, czy pozostali producenci sprzętu też to robią. Na to pytanie odpowiedzi postanowił udzielić serwis Anandtech. Niestety wyniki przeprowadzonego przez niego badania nie są satysfakcjonujące.
Okazuje się, że oszukuje większość producentów, tylko w różnym stopniu. W jaki sposób mogą podnieść wydajność swoich urządzeń? By to zrobić, potrzebna jest lista aplikacji, w których zastosowany procesor ma używać pełni swojej mocy. Wówczas podnoszone jest napięcie i częstotliwość układu do najwyższych możliwych wartości. Możliwe jest też podniesienie limitów wydzielanego ciepła w celu chwilowego zwiększenia wydajności układu graficznego. Udowodniono, że Samsung stosuje w swoich urządzeniach oba sposoby zwiększania wydajności, z kolei wydajność samego procesora zwiększają niemal wszyscy producenci sprzętu z Androidem.
Lista tego, kto to robi, byłaby za długa, lepiej więc jest wymienić firmy, które nie podnoszą osiągów swoich urządzeń. Otóż jest to Motorola, różnic w wydajności sprzętu nie zauważono też w smartfonach z serii Nexus. Być może ich producenci chcieliby, by produkowane przez nich Nexusy działały szybciej niż inne telefony, ale są one wyposażone w niezmodyfikowanego Androida, więc nie było możliwości przyspieszenia sprzętu. Podejrzewamy, że również topowe telefony w wersjach Nexus Edition przez uczciwość wypadałyby w benchmarkach gorzej niż ich zwyczajne odpowiedniki. Zapewne wielu z Was zastanawia się, czemu Motorola stała się jedynym sprawiedliwym. To proste, bo należy do Google’a. Jednak nie ma jakiejkolwiek pewności co do tego, że poprzednie telefony amerykańskiego producenta były tworzone w równie uczciwy sposób. Nie mam na to dowodów, jednak bardziej przychylam się do tego, że samodzielna Motorola nie była lepsza od innych. Pełną listę benchmarków, w których poszczególni producenci urządzeń oszukują, znajdziecie w poniższej tabeli.
Warto wziąć pod uwagę, że nie ma znaczenia, jaki procesor został zastosowany w urządzeniu. Samsungi zawyżają wyniki niezależnie od tego czy wykorzystują własne Exynosy, Snapdragony, czy też może procesory Intela. Jeśli chcecie zobaczyć, jak działa procesor w benchmarku, a jak w innych zastosowaniach, należy zerknąć na poniższy wykres. Smartfon Samsunga przetestowano w nim dwa razy – najpierw w benchmarku, potem w tym samym programie o zmienionej nazwie. Jak widać, w normalnym benchmarku taktowanie jest utrzymywane cały czas na najwyższym, nienaturalnym poziomie, zaś po zmianie nazwy zaczyna zachowywać się w sposób bardziej naturalny. Samsung nazywa to specjalnym trybem wysokiej wydajności używanym w aplikacjach takich jak Galeria czy S Aparat. Osobiście wątpię, czy do korzystania z aparatu konieczne jest maksymalne taktowanie procesora przez cały czas.
Jak już wspominaliśmy, większość producentów sprzętu zadowala się zwiększeniem mocy procesora, ale dla Samsunga to za mało i zdecydował się na podrasowanie też testu układu graficznego, co widać w testach graficznych GFX Basemark X i 3D Mark. W pierwszym z nich różnica wydajności w tym samym benchmarku o różnych nazwach wynosi 3,3%, zaś po wyłączeniu ekranu ponad 10%. Oznacza to, że zapewne stosowane są sztuczki takie jak gubienie klatek i sztuczne podwyższanie wydajności. Drugi test jest znacznie bardziej zbalansowany, więc wpływ na wzrost wydajności może mieć tu procesor. Na szczęście jest to całkiem wiarygodny benchmark, gdyż oszukują w nim tylko Samsung i HTC. O wiele mniejsze różnice wydajności widać też w benchmarkach takich jak Vellamo czy Mozilla Kraken, bo są one mniej popularne od testów umieszczonych w tabelce i przez to mniej firm zajmuje się dostosowaniem oprogramowania właśnie do nich.
Dlatego bardzo ważne jest, by twórcy oprogramowania cały czas je zmieniali, edytowali, naprawiali. Dzięki temu możliwa będzie walka z producentami sprzętu, którzy chcą naginać rzeczywistość odpowiednio do swoich potrzeb. Jest to nawet ważniejsze niż na rynku pecetowym, gdyż większość redakcji zdecydowała się ograniczyć testy syntetyczne i sprawdzać wydajność podzespołów w realnym zastosowaniu. Niestety w przypadku smartfonów i tabletów nie jest to możliwe z kilku powodów. Przede wszystkim na Androida istnieje cały czas zbyt mało oprogramowania profesjonalnego, dobrych graficznie gier, brakuje też narzędzia takiego jak Fraps, które mierzyłoby liczbę klatek na sekundę w programach 3D.
Czy da się skutecznie walczyć z oszustwami? Jeśli większość dostawców sprzętu ma listę aplikacji, które mają zwiększać wydajność, warto zastanowić się nad tym, by twórcy dużych benchmarków wypuszczali dwie wersje programu. Jedna byłaby zwykła i w 100% uczciwa, z kolei druga miałaby inną nazwę, przez co programy nie mogłyby jej wykrywać. Nazwę należyby zmieniać co tydzień-dwa, a jej nazwę podawać na stronie producenta oryginalnego programu. Byłaby to zabawka w kotka i myszkę, którą w końcu producenci sprzętu wy wygrali, jednak póki nie ma lepszego rozwiązania, nawet to może sprawić, że benchmarki będą bardziej wiarygodne.