Intel se chlubil zkreslenými benchmarky Core i9-9900K proti doslova zkriplenému Ryzenu

11. 10. 2018

Sdílet

 Autor: Intel

Tento týden odhalil Intel očekávané osmijádrové procesory Core deváté generace pro mainstreamovou platformu. Ty dle očekávání bude představovat nejvýkonnější CPU pro herní počítače (celkem logicky, když už tuto pozici držel jejich předchůdce Core i7-8700K) a Intel je také tak prezentuje. Protože mají vítězství v benchmarcích celkem jisté, asi nikdo nečekal, že by kolem nich marketing musel hrát nějaké divadlo. Kupodivu se to však stalo. Záhy vyšlo najevo, že oficiální benchmarky, které Intel pro informaci (a propagaci) prezentoval, byly hodně problematické. K vysokým slibovaným nárůstům výkonu v nich totiž dosti pomáhá hendikepování konkurenčních procesorů.

Intel měl v prezentaci čísla, která ovšem nenaměřil sám (jak to dělá u svých prezentací AMD). Z nějakého důvodu si benchmarky nechal udělat u externí firmy jménem Principled Technologies. Její report je momentálně zde; Intel ho trošku pikantně odkazuje pod zkrácenou URL facts.pt/11u9e2. Záhy byly však nalezeny chyby v číslech (jako jeden z prvních hlasů se proti nim ozval Techspot, jemuž se nezdály) a v metodice. V té je také pes zakopaný. Ať už šlo o nekompetenci náhodnou nebo záměrnou, v testu byly sestavy s procesory AMD Ryzen 7 2700X znevýhodněny špatným nastavením i dalšími aspekty. A těchto chyb se nakumulovalo vícero, takže se firma (a potažmo Intel) logicky dostali do podezření, že chtěli výsledky zkreslit.

Neoptimální paměti, horší chladič

Sestavy například sice používají stejné paměti, ale z nějakého důvodu byl zvolen kit čtyř 16GB modulů, které jsou ještě typu dual-rank. To je situace, které nesedí paměťovému řadiči procesorů Ryzen, zatímco Intel je zvládá lépe. V typickém herním počítači byste ale ve většině případů měli jen dva single-rank moduly. Toto také může být zlomyslnost, ale alespoň zde byly stejné podmínky. Ovšem zdá se, že zároveň byl u modulů na platformě Intelu nastaven v BIOSu profil XMP, kdežto na platformě AMD nikoliv a časování bylo ponecháno na BIOSu desky. Potenciálně tedy mohlo být dost neoptimální (frekvence DDR4 byla nastavena manuálně na 2933 MHz).

V testu vyšel pro Ryzen 7 2700X nižší výkon než pro Threadripper, což nebývá moc obvyklé V testu vyšel pro Ryzen 7 2700X výrazně nižší výkon než pro Threadripper, což nebývá ve hrách moc obvyklé

Druhá podezřele působící nekonzistence je, že pro procesory Intelu byl použit vysoce výkonný chladič Noctua NH-U14S. Pro Ryzen 7 2700X byl zvolen pouze Wraith Prism z balení procesoru. Ten sice není špatný (na boxový chladič), věžové Noctue se ale nevyrovná. A kvůli fungování Precision Boostu u tohoto CPU to znamená, že procesor měl nižší výkon, než mohl mít, lepší chlazení totiž vede k vyšším taktům turba.

Chladič Wratih Prism, přikládaný k procesorům Ryzen 7 2700X Chladič Wratih Prism, přikládaný k procesorům Ryzen 7 2700X

Důvod těchto nerovných podmínek byl podle firmy provádějící testy ten, že Intely žádný vlastní chladič neměly. V takovém případě by ale správně měl být použit chladič stejný pro všechny, nebo alespoň výkonově srovnatelný. NH-U14S je se socketem AM4 kompatibilní a pokud firma neměla po ruce konverzní kit, není to moc dobrá omluva. Za normální okolností by se to přejít dalo, ale ne, když je podobných „přehlédnutí“ větší kumulace.

Nocrua NH-U14S je výkonem výrazně jinde. Má 140mm ventilátor, více heatpipe, výrazně silnější pasiv Noctua NH-U14S je výkonem i cenou výrazně jinde. Má 140mm ventilátor, více heatpipe, schopnější pasiv s vyšší hmotností

Konkurence měla jen půlku jader

Úplně nejzávažnější bota ale je, že firma použila pro testování Ryzenu 7 2700X režim „Game Mode“, který iniciativně nastavila v utilitě Ryzen Master. Tento režim ale není míněn pro běžné Ryzeny do socketu AM4, jen pro procesory Threadripper. Na těch může zlepšit výkon některých her tím, že deaktivuje polovinu jader (jeden z čipů), aby se zamezilo výkonnostním ztrátám kvůli komunikaci mezi čipy. U běžného Ryzenu ale tato volba také vypne polovinu jader. Benchmarkující firma tak testovala místo osmijádra Ryzen jen čtyřjádro s osmi vlákny proti procesoru Intel s osmi jádry a 16 vlákny. Zřejmě si toho nikdo nevšiml, nebo mu to nevadilo. (Pokud vás hlouběji zajímá, co firma k těmto kontroverzním výsledkům říká, tak web GamersNexus s jejím představitelem pořídil dlouhý rozhovor, který si na Youtube můžete poslechnout zde).

Metodika a dokumentace vykazuje i další nekompetentní nebo podezřelé detaily, které tu už nebudeme probírat. Jen tato jedna chyba by asi ale měla být kompletně diskvalifikující a vše by mělo být přetestováno. Zdá se, že Principled Technologies také testy zopakuje. Ovšem původní čísla, o nichž mezitím média informovala, už svoji „škodu nadělala“, takže oprava už asi nebude mít moc velký význam. Pokud vás zajímá, jak firma vypnutí jader vysvětluje, údajně vycházela z doporučení pro Ryzen Threadripper a předpokládala, že budou platit i pro Ryzen na platformě AM4.

Pro AotS vyšly s neoptimálními nastaveními na Intelu prakticky o 50 % vyšší FPS, pravděpodobně značnou měrou kvůli vypnutí poloviny jader. Tento údaj Intel použil v prezentaci Pro AotS vyšly s neoptimálními nastaveními na Intelu prakticky o 50 % vyšší FPS, pravděpodobně značnou měrou kvůli vypnutí poloviny jader

Nejvíc Game Mode asi hodně poškodil výsledky ve hře Ashes of the Singularity. A vysoký rozdíl mezi Ryzenem 7 2700X a Core i9-9900K v tomto titulu, pak Intel skrze report firmy Principled Technologies prezentuje jako důkaz náskoku svého nového procesoru. To je samozřejmě problém. Sice celkem jistě víme, že by Core i9-9900K mělo ve hrách vyhrát, ale výsledný rozdíl nebude těch 50 %, které tato studie uvádí, ale podstatně nižší. Jinými slovy Intel na základě těchto zfušovaných testů slibuje větší náskok, než čipy reálně mají.

Intel-cpu-procesor-Core-coffee-lake-refresh-1600

bitcoin_skoleni

Reálný náskok by nebyl dost dobrý?

Jak už bylo řečeno – je celkem jasné, že při parametrech osmijádra Core i9-9900K by tento procesor v herních testech zvítězil tak jako tak. Protestování proti těmto nefér výsledkům není tedy o tom, že by podle někoho AMD mělo vyhrát. I to, že testy vytváří dojem většího rozdílu ve výkonu, než jaký skutečně existuje, je principiálně stejný problém, jako kdyby zfušovaný test pořadí obrátil. Odlišnost je jen v kvantitativní míře zkreslení (či manipulace?). O to víc také tyto divné testy nejdou na rozum. Intel si dřív benchmarky normálně pořizoval sám a když může mít testovací laboratoř vybavenou konkurenčním hardwarem AMD, proč ně nesrovnatelně bohatší Intel? Trošku to pak vypadá, jako by outsourcing byl použit proto, aby se pak „chyby“ mohly svést na třetí stranu. Mimochodem, ještě jedna perla: v právnických pojistkách, které Intel u těchto materiálů uvádí, stojí, že v testech mohla být nastavení hardwaru optimalizována jen u počítačů s procesory Intel...

A přitom to Intel vzhledem k výkonu (byť kompenzovanému vyšší cenou) svých čerstvě vydaných procesorů opravdu nemá zapotřebí. Snad jen jediný důvod k takovýmto šarádám by mohlo být, že Core i9-9900K přece jen ve hrách nemusí být o tolik napřed před starším Core i7-8700K, aby to někomu stálo za upgrade. Ovšem uměle v benchmarcích snižovat výkon vlastního procesoru by pro Intel také bylo kontraproduktivní, kdežto procesor AMD by byl pro takovou „demonstraci“ povoleným cílem. Každopádně si tímto Intel ale nakonec uřízl ostudu, které se mohl vyhnout.