Ukazuje se totiž, že populární benchmark Antutu asi nadhodnocoval výkony procesorů Atom, a to i o desítky procent. Nejzávažněji se vše týká momentálně nejrychlejšího Intelu pro telefony, dvoujádrového čipu Atom Z2580, který je osazen například v mobilu Lenovo K900. Výkonnostní výsledky, které tento SoC dosáhl v Antutu, mu totiž vynesly prohlášení za nejvýkonnější mobilní čip, neboť měl porazit i takové korby jako je Snapdragon 600 nebo Exynos Octa.
Jenže jak už bylo řečeno, výsledky benchmarku byly zřejmě masivně zkreslené ve prospěch čipu Atom. Posledně vydaná verze Antutu, 3.32, totiž opět výkony těchto čipů sráží: celkové skóre je nižší o 20 %, test CPU si pohoršil stejnou měrou a nejhorší redukcí prošel test RAM, kde je skóre naráz o 50 % nižší. Přitom konkurence architektury ARM si svá skóre zachovává bez větších změn. Za tím, že v předchozí verzi byly výsledky zřejmě nadhodnocené, údajně stojí použití kompilátoru ICC od Intelu pro architekturu x86, zatímco ostatní architektury používají překladač GCC (GNU Compiler Collection).
Binárky vytvořené pomocí ICC údajně ve starších verzích Antutu (konkrétně v testu RAM) jednoduše nevykonávaly všechny požadované instrukce, což pochopitelně vedlo k jejich rychlejšímu běhu. Podobný problém se zřejmě mohl objevit i v dalších postižených testech. Z dostupných informací není jasné, zda se jednalo o chybu optimalizace v ICC. Je totiž možná i varianta, že postižené části kódu byly redundantní, a překladač je jako tzv. mrtvý kód eliminoval zcela regulérně. V takovém případě by byl přeložený program plně korektní (nejednalo by se o žádný podvod). Nicméně lepší výsledek procesoru by bylo třeba připsat právě ICC, neboť vyprodukoval optimálnější kód, než GCC. Je asi také pravda, že benchmark obsahující redundantní mrtvý kód je prostě špatně napsaný.
Každopádně jsou však nyní dobré výsledky Intelu v Antutu zdiskreditované a například Exynos Octa v telefonu Samsung Galaxy S4 se opět dostal nad Atom Z2580. Je ale také pravděpodobné, že se problém – možná i v ještě větší míře – týká také nadcházejících procesorů Atom s architekturou Silvermont. Předběžné benchmarky, změřené právě v Antutu, totiž naznačovaly, že tyto SoC budou mít nad současnými čipy ARM drtivou převahu. Ve světle nových zjištění ale zřejmě ani tomuto výsledku nelze přikládat žádnou váhu. Silvermont sice může být rychlejší než třeba Snapdragon 800, musela by to však doložit čísla z nějakého jiného testu, než je Antutu.
V srpnu (auguste) má údajně Antutu přijít s novou verzí testů, která snad bude důkladněji ověřená. Testování výkonu mobilních SoC ale asi nadále zůstane problematické. Telefony a tablety totiž tvoří platformu, kde je těžké kontrolovat podmínky testů, a to i pokud používáme nativní programy (a ne například javascriptové testy v prohlížeči). Srovnání ARMu a Intelu je však ještě ošidnější, neboť se rovná o dvě různé procesorové architektury. Obě mohou mít značně odlišnou úroveň optimalizace v testu, překladači i standardních knihovnách a operačním systému. Tento problém se bohužel týká i výkonu v reálných aplikacích, takže poznat, zda procesory ukazují reálný výkon, či zda je neoptimální software drží zpátky, je téměř nemožné.
Zdroj: EE Times
