Telefon standardně běžel rychleji než u Optimusu G2 od LG, který má stejný hardware. To vyvolalo pochybnosti, a tak redaktoři nechali vytvořit novou aplikaci s jiným názvem, který už upravený SGN3 neznal. Výsledkem byly až o 20 % horší výsledky (ale už srovnatelné s LG).
Do ještě větších experimentů se pustili Anand Lal Shimpi a Brian Klug z Anandtechu. Ověřili 13 různých zařízení v 7 odlišných benchmarcích a zjistili, že podvádějí skoro všichni. Anand mluvil i s výrobci a sám si ověřil, že u telefonů a tabletů dochází k úpravám frekvencích a napětí u CPU i GPU za účelem vyššího výkonu v testech. Sám toto chování ostře kritizuje, protože k ničemu nevede. Je to jen poměřování pindíků.
Výkon dosažený podvodem totiž neodpovídá tomu, jak se bude zařízení chovat v praxi. Pokud se výrobce zaměří jen na určité aplikace, které systém rozezná dle názvu, neříká to nic o tom, jak rychlý bude telefon v jiném softwaru. Podobné chování jsme ostatně už kdysi viděli u AMD (ATI) i Nvidie v herních testech na desktopu. Výrobci měli v ovladačích speciální profily, které se aktivovaly, když systém rozeznal některý spuštěný proces (například crysis.exe).
Z několika Anandových testů můžeme říci, že nejvíce se do podvádění namočil Samsung, švindluje ale i HTC, LG nebo Asus. Nezáleží přitom ani na konkrétním SoC: výsledky se lišily u Qualcommu, Samsungu i Intelu. Nepodvádí se na čistých Androidech (Nexus a Nvidia Shield) a rovněž nových Motorolách. Na to ale může mít vliv Google, který firmu vlastní. U starších zařízení nebyly testy provedeny.
Zařízení | SoC | Podvádí v benchmarku | |||||||
3DM | AnTuTu | AndEBench | Basemark X | Geekbench 3 | GFXB 2.7 | Vellamo | |||
Asus Padfone Infinity | Qualcomm Snapdragon 800 | ne | ano | ne | ne | ne | ne | ano | |
HTC One | Qualcomm Snapdragon 600 | ano | ano | ne | ne | ne | ano | ano | |
HTC One mini | Qualcomm Snapdragon 400 | ano | ano | ne | ne | ne | ano | ano | |
LG G2 | Qualcomm Snapdragon 800 | ne | ano | ne | ne | ne | ne | ano | |
Moto Razr i | Intel Atom Z2460 | ne | ne | ne | ne | ne | ne | ne | |
Moto X | Qualcomm Snapdragon S4 Pro | ne | ne | ne | ne | ne | ne | ne | |
Nexus 4 | Qualcomm APQ8064 | ne | ne | ne | ne | ne | ne | ne | |
Nexus 7 | Qualcomm Snapdragon 600 | ne | ne | ne | ne | ne | ne | ne | |
Samsung Galaxy S 4 | Qualcomm Snapdragon 600 | ne | ano | ano | ne | ne | ne | ano | |
Samsung Galaxy Note 3 | Qualcomm Snapdragon 800 | ano | ano | ano | ano | ano | ne | ano | |
Samsung Galaxy Tab 3 10.1 | Intel Atom Z2560 | ne | ano | ano | ne | ne | ne | ne | |
Samsung Galaxy Note 10.1 (2014 Edition) | Samsung Exynos 5420 | ano | ano | ano | ano | ano | ne | ano | |
Nvidia Shield | Tegra 4 | ne | ne | ne | ne | ne | ne | ne |