„Golden samples“ od AMD, aneb mělo EHW nejrychlejší R9 290X na světě?

Nejen českými diskuzemi o nových Radeonech se teď lavinovitě šíří odkaz na článek zveřejněný na Tom's Hardware, který demonstruje, jak se liší výkon karet, co AMD rozesílalo do testů, od karet, které se dají pořídit v obchodech. Některá čísla vypadají až hrozivě. Protože je regulace u nových karet dost komplexní, probereme to trochu podrobněji…

Protože není fyzicky možné, aby z výrobního pásu padaly identické výrobky, i u hardwaru pracuje s nějakou výrobní tolerancí. U grafických karet to znamená především rozdíly v kvalitě osazeného GPU.

Už před mnoha lety, kdy se čtenáři jali ověřovat výsledky recenzí na svých kartách, se začalo spekulovat o tom, jestli se do recenzí nedostávají speciálně vybírané nadprůměrně kvalitní karty (označované jako „golden sample“).

Že se mohou výsledky různých kusů GPU a CPU lišit, zjistil už při pokusech o přetaktování nejeden majitel horší grafické karty nebo méně vydařeného procesoru. Že jsou rozdíly mezi schopnostmi dvou karet třeba ve srovnání se dvěma „stejnými“ automobily podstatně větší, asi netřeba zdůrazňovat.

Před nástupem PowerTune a GPU Boost se výkon různých kusů karet nelišil, protože běžely všechny na stejných taktech. Vybíráním lepších vzorků by tehdy bylo možné ovlivnit především výsledky přetaktování (na základě kterých se rozhoduje spousta zkušenějších uživatelů), výsledky měření spotřeby, naměřené teploty, a od zavedení automatické regulace ventilátorů podle teploty i hlučnost.

Je to poměrně jednoduchý způsob, jak své produkty v recenzích vylepšit, takže bych se nedivil, kdyby k něčemu takovému docházelo. Nenapadá mě, jak hodnověrně zjistit, jestli tomu tak je (za širokou veřejnost se v drtivé většině ozvou jen ti nespokojení, takže to, že se někde v diskuzi narazíte na pět lidí s horšími výsledky a jednoho, který se chce pochlubit lepším, nelze považovat za důkaz).

S GPU Boost a PowerTune k… nepřesnějším recenzím

Na novou úroveň se problém s různou kvalitou karet dostal, když Nvidia přišla u GeForce GTX 680 s GPU Boost, které kartu dynamicky přetaktovává podle naměřené spotřeby. Horší jádro už znamenalo nejen horší provozní vlastnosti nebo přetaktování, ale i o pár desítek megahertz nižší takty a nižší výkon. Právě kolísání výkonu GeForce se stalo noční můrou nejednoho… (soudě dle příspěvků v diskuzích) většinou příznivce karet od AMD.

 

Ani se mi nechce v kontextu současných událostí kolem R9 290X připomínat (pokud ještě netušíte, dozvíte se dále), že to bylo AMD, které po uvedení GTX 680 přišlo s rétorikou, že u PowerTune používaného svých karet garantují u dvou různých kusů karet konstantní výkon, protože na rozdíl od konkurence spotřebu neměří, ale na základě výpočtů odhadují a podle toho upravují parametry (což může dělat každá karta stejně).

Že by byly všechny Radeony na stejně nastavených taktech stejně výkonné, byla ale pravda jen do doby, než výrobce sáhl v BIOSu na limity pro PowerTune (což je u přetaktovaných karet nutnost jinak se u nich může výkon propadat někdy i pod úroveň nižších modelů). Ale za to, co s nastavením karty vyvádí výrobce, už AMD nemůže.

Za tepla…

Ještě výrazněji se to začalo projevovat poté, co Nvidia u GPU Boost 2.0 začala takty regulovat primárně v závislosti na teplotě čipu. A na něco podobného teď přešly i Radeony.

To, že se dnes už každá karta chová trochu jinak (a dvojnásob to platí pro různé nereferenční modely), je i důvod, proč se v mých recenzích postupně začala objevovat trojice kapitol věnovaných chování automatického přetaktování (včetně průběhů všech klíčových parametrů, které se z diagnostiky dají vyčíst). Na rozdíl od testů, ze kterých zjistíte jen průměrnou snímkovou frekvenci, se z toho alespoň dá odhadnout, jak se ta karta chovala během testování a proč jsou naměřené výsledky takové, jaké jsou.

Extrémní souhra okolností, extrémní rozdíly ve výkonu

Mimořádně velké rozdíly se teď objevily u Radeonů R9 290X, které kombinují relativně malé GPU s vysokou spotřebou, relativně malý a nepříliš výkonný pasiv, vysoké provozní teploty a relativně nízké otáčky ventilátoru.

Do toho všeho se automatika může pohybovat v na současné poměry obrovském rozsahu pracovních frekvencí – naše R9 290X měnila takty v rozsahu 1000–727 MHz a pomalejší R9 290 mezi 947–662 MHz. Snížením taktů z 947 na 662 MHz se přitom výkon karty propadne i o čtvrtinu!

Dobře je to vidět i na našem testu R9 290X v Quiet mode a Crysis, kde karta začíná na 1000 MHz a postupně padá až na minimálních 727 MHz, přičemž snímková frekvence sletí z 84 na 66 snímků za sekundu.

Jak v recenzi Radeonu R9 290X, tak hlavně v recenzi R9 290 bylo znát, co za těchto okolností udělá poměrně malá změna v nastavení ventilátoru s výkonem karty (u R9 290 to bylo zvednutí ze 40 na 47 %).

Na to, jak moc se rozdíly mezi různými kusy projevují právě u Radeonů R9 290X, upozornil v tomto týdnu Tom's Hardware…

Vaše karta o 18 % pomalejší než ta v recenzi?

Redakce dostala od AMD dva vzorky, které se co do výkonu mírně lišily. Oproti tomu karta objednaná z Newegg běžela mnohem pomaleji, často až o 20 %.

První dost podstatná věc je, že šlo o režim Quiet mode. To je režim, kde teploty jsou nadoraz, ventilátor běžní na minimu, a takty se propadají také ke spodní hranici. Strop pro výkon ventilátoru je nastavený na 40 % (tuto hodnotu překročí jen, když se karta i na minimálních taktech přehřívá). Napájení ventilátoru by v takovém případě na všech kartách mělo být nastavené stejně a otáčky ventilátorů by měly být obdobné. Bohužel tomu tak nebylo.

U vzorku od AMD běžel ventilátor (při stejných 40 % výkonu!) na 2050 ot./min, u karty od Sapphire ve špičce na 1950 ot./min a u karty od Asusu jen na 1850 ot./min. (ještě připomínám, že naše R9 290X běžela při 40 % výkonu zpočátku na ~2040 ot./min, postupně se otáčky zřejně kvůli přehřívání čipu pozvedly na 2060 ot./min, což bylo ale stále zjevně méně než 41 % výkonu). A tomu v podstatě odpovídal i výkon karet – nejpomalejší model od Asusu běžel permanentně na spodní frekvenci 727 MHz, Sapphire osciloval kolem 800 MHz a referenční karta kolem 917 MHz.

Výsledkem byl rozdíl ve výkonu až 18 %.

Ale pozor, protože se čip liší kus od kusu, nedá se říci, že by na vině byly jen ventilátory. Proto byl další logický krok, který Tom's Hardware udělal, srovnání ventilátorů na stejné otáčky a opětovné přeměření. Tady už redaktor narazil, protože možnost nastavení výkonu jen po jednotkách procent je nedostatečná na to, aby šlo otáčky nastavit na všech kartách shodně. Karta od Asusu se dostala na téměř shodné otáčky při 43 % výkonu, kartu od Sapphire bylo nutné nastavit na 42 %, při kterých už běžel ventilátor o 30 ot./min rychleji.

Výsledkem bylo to, že se při „stejných“ otáčkách ventilátoru frekvence R9 290X od Asusu zvedla ze 727 na 792 MHz a u karty od Sapphire z 809 na 852 MHz. Znamená to, že se rozdíl mezi nejpomalejší kartou od Asusu a kartou přímo od AMD snížil z 18 už „jen“ na 11 %.

Krátce po tom, co se celá věc objevila na veřejnosti, vydalo AMD prohlášení, že jiná média obdobný rozdíl u karet zakoupených v obchodě oproti referenčním vzorkům nezaznamenala, a že se pracuje na zjištění příčin. Mezitím AMD identifikovalo oblasti, ve kterých může rozdíly minimalizovat a pracuje na aktualizaci ovladačů, která pomůže rozdíly snížit.

AMD upravuje ovladače, jaký je výsledek?

Oficiálním vysvětlením bylo, že Radeony regulují otáčky pomocí PWM a ventilátor má za těchto okolností toleranci +-300 ot./min. Výkonu 40 % tedy neznamená stejné otáčky na všech ventilátorech. Podle AMD by ventilátor údajně na 40 % měl běžet na 2200 ot./min.

Zajímavou poznámku udělal redaktor ještě v souvislosti s teplotou okolí – běžně prý testuje při 78–80 °F (cca 25-27 °C). Po ránu měl ale v kanceláři teplotu 74 °F (~23 °C) a při této teplotě se karta od Sapphire chovala podobně jako referenční model od AMD při teplotách 78–80 °F. A proč je to zajímavé? Rozdíly kolem 1–2 °C může udělat i jinak nanesená pasta.

Po krátké době AMD vydalo ovladače 13.11 beta 9.2 s oznámením:

Tady jen krátká vsuvka, v našem případě by takové zrychlení ventilátoru kromě zvýšení výkonu znamenalo i pozorovatelné zvýšení hlučnosti, u R9 290X v Quiet Mode by to byl nárůst ze 48,8 (2040 ot./min) na 51,5 dBA a z 54,5 na 56 dBA u R9 290. Mimo jiné to také znamená, že normalizace otáček na hodnoty o 150 ot./min vyšší než v řadě recenzí by mohlo zajistit i dorovnání výkonu karet na hodnoty v recenzích i přesto, že by čip při shodných otáčkách běžel jinak pomaleji a karta byla skutečně horší.

Jak se ventilátor s normalizací otáček chová, ukazuje další graf:

Z původně téměř perfektně vyrovnaných průběhů otáček se stala malá pilka s vylámanými zuby (skáčou někde v rozmezí 20 ot./min), ale kýženého efektu by bylo jinak dosaženo – všechny karty mají prakticky stejný výkon ventilátoru. Nežádoucí na tom je, že tichý režim už definitivně není tichý.

Takty všech karet se adekvátně zvedly, U AMD z 917 na 944 MHz, u Asusu ze 727 na 863 MHz a Sapphire poskočil z 800 na 906 MHz.

Zvýšily se i snímkové frekvence – 11% rozdíl klesl na 6 %.

Na pohled to vypadá hezky, ale ze strany AMD to také může být už od počátku kalkul. Zvedly se totiž otáčky nejen u problémových karet, ale i u referenční karty (ze 2050 na 2200 ot./min). Je jasné, že jestliže máte kartu, která dosahuje na začátku měření takty lehce pod 1000 MHz, které postupně klesají k ~950 MHz, s přidáním výkonu ventilátoru nezrychlí zdaleka tolik, jako karta, které do výkonnostního stropu už pár sekund po spuštění zátěže zbývá 100 nebo 200 MHz

 

Na poslední straně testu (na tu už se opravdu podívejte na Tom's Hardware, ať to sem nepřelepuji celé), je ještě srovnání slabšího referenčního modelu R9 290 s jednou Sapphire R9 290 pořízenou v obchodě. Scenář se opakuje – výrazně nižší otáčky ventilátoru, výrazně nižší takty, a po srovnání otáček zvýšením výkonu ze 47 na 50 % podstatně menší výkonnostní rozdíl. A ventilátor opět zrychlil jak u referenční karty, tak u prodejního kusu. A opět to, co jsem zmiňoval, nereferenční karta výrazně zrychlila, zatímo u referenční už je nárůst menší, protože karta dosáhla stropu 947 MHz (a výš už teda jít nemohla, i kdyby se otáčky zvedly o další tisícovku).

Byly v recenzích lepší kusy?

Nechci to bagatelizovat, ale zatím nesdílím stejný názor, jako mnoho lidí v diskuzích. Ze zkušeností z Tom's Hardware se dvěma novinářskými vzorky a dvěma prodejními kartami (resp. jedním a jedním samplem u R9 290) prostě nelze vyvozovat, že AMD ušilo boudu a všichni recenzenti dostali lepší karty, než si zákazníci mohou koupit v obchodech. Na to by bylo nutné posbírat a za stejných podmínek porovnat několik novinářských samplů a rozhodně mnohem více než dva kusy prodejních karet. Nebo mít velký zástup kupujících (všech, ne jen těch naštvaných), kteří se podělí s výsledky svých karet otestovaných za stejných a kontrolovaných podmínek (což v případě běžných recenzí bude většinou volně na stole mimo skříň a při stejné teplotě okolí).

V situaci, kdy má na výkon tak dramatický vliv stovka otáček ventilátoru navíc a kdy rozdíl okolní teploty 4 °C udělá 9 % výkonu navíc, to platí dvojnásob. Spousta majitelů R9 290X přitom ani netuší, že pro vyšší výkon mají přepnout DIP switch u záslepky a vyresetovat nastavení Overdrive v ovladačích.

A co naše nešťastná nejrychlejší R9 290X na světě?

„Naše“ R9 290X

Se vzorky v tomto regionu to není moc veselé (to neberte jako kritiku českých zástupců výrobců, ti se snaží). Menší zájem ze strany zahraničních výrobců není nepochopitelný, zdejší region je malý a kupní síla slabší (jediný, kdo má v tomto ohledu delší prsty, je české zastoupení Nvidie, které až na výjimky (GTX 690 či Titan za 24000) mívá vzorků více a často je nechá i pro opětovná měření v testlabu redakcí). Většinou jsme rádi, když se jedna karta vystřídá v nějakých čtyřech redakcích a je malý zázrak, že za těchto podmínek všichni až tak dobře zvládáme držet krok se světovými weby.

Většina recenzentů se už dnes snaží, aby karta opouštěla redakci v původním stavu a jen málokdo zkoumá, jestli je pod chladičem to, co tam mělo být. Jako opodstatněné bych to ještě bral v případě, že autor aspoň napíše, co pod tím chladičem našel a neodbude to jen dvěma fotkami. Na tom, že tím sample „zlikviduje“, ale ani to nic nezmění.

Pasta. Už zase

Jednou z výjimek z tohoto „pravidla“ byl ke smůle nás všech právě novinářský vzorek Radeon R9 290X od AMD, který teď nejspíš bude zdrojem dalších svárů na „české scéně“. Doznal totiž očisty a přepastování. Tentokrát to nikomu nezazlívám, věřím, že se autor skutečně domníval, že vzorek R9 290X, který dostal, je problémový a na testování je třeba dosáhnout stavu, ve kterém karta nebude „throttlovat“. Doufám, že v tomto ohledu nedošlo z mé strany k nepochopení recenze, ocituji klíčové pasáže z textu autora, na základě kterých se domnívám, že tomu tak bylo:

Na přepastování teď bohužel zřejmě škaredě doplatíme my a všechny ostatní redakce, které kartu dále testovaly (jmenovat je už nebudu).

Když se podíváte na závěry našeho srovnání R9 290X a GeForce GTX 780X, vychází Radeon proti GeForce podstatně lépe než ve většině ostatních recenzí (abych parafrázoval jednoho… no, recenzenta, je to „nejvýkonnější Radeon R9 290X na světě“). Jaký rozdíl nová pasta způsobila a jak to mělo vypadat původně, bohužel ví jen jediný člověk u nás v republice, a mně to rozhodně nepoví. Věřím, že mi testování s neoriginální pastou nebudete mít moc za zlé, v recenzi Radeonu R9 290X je to zdůrazněno a jíná karta na otestování ještě dlouho uvedení nebyla. Z českých recenzentů jsem asi poslední, komu by se testování s lepší pastou dalo vyčítat. Víceméně úspěšný boj s rozebíráním a přepastováváním kolujících vzorků vedu už dlouho.

 

Existuje i řada dalších důvodů, kvůli kterým mohly naše výsledky vyjít jinak. Ve spoustě věcí se lišíme od toho, jak testují jiné weby. Od té doby, co grafiky začaly se spotřebou a teplotou inteligentně měnit takty, jsem začal karty před měřením výkonu předehřívat, abych měřil výkon po ustálení teplot ne jen ten špičkový (předpokládám, že většinu lidí zajímá spíš to, jak karta poběží během pětihodinové herní seance než to, jak rychle běhá první dvě minuty po spuštění hry).

Další věc je, že aktualizovaný výběr her a nastavení v nové metodice zřejmě více nahrává Radeonům (soudě dle výsledků jiných karet, ne jen R9 290X). Je to klasické úskalí testů grafických karet a daň za zjednodušení; je nemožné u všech her zprůměrovat výkon karet během celé hry ve všech nastaveních, aby se dalo se stoprocentní jistotou konstatovat, která karta je výkonnější a o kolik. A je to i důvod, proč se mají průměrné výkony karet brát jen jako hrubě orientační a jsou zatížené velkou chybou měření.

Na metodice kvůli tomu nehodlám nic měnit tak, aby mi to „vycházelo podobně jako ostatním“ (výjimkou je doplnění tří her, které plánuji přidat po doměření všech karet). Hry, lokace pro testování a nastavení do metodiky vybírám „naslepo“ podle jiného klíče, než jakým je to, jak jsou v daném titulu Radeony nebo GeForce výkonné.

Nechci skončit komickými pokusy o „vybalancování metodiky“ tím, že budu vybírat polovinu her, které jdou dobře Radeonům a polovinu her, které jdou dobře GeForce, nebo tím, že vezmu nějaké hry z programu AMD Gaming Evolved a stejný počet z Nvidia TWIMTBP, případně že budu naopak vybírat hry, které se zásadně žádného z obou programů neúčastnily (podobné nápady už někteří měli). Ono se to ostatně ani dopředu moc vychytat nedá, stačí se podívat, co se stalo s výkonem Radeonů v Battlefield 3 poté, co se AMD začalo kamarádit s DICE při pracích na Battlefield 4.

Je ti teplo, děvče?

Karty testuji za konstantní pokojové teploty ~23 °C (tedy v rámci přesnosti, jakou lze dosáhnout s pomocí monitorovacího panelu Scythe Kaze Master II, u kterého kontroluji teplotu hned na dvou čidlech na vstupu do skříně, před předním a spodním nasávacím ventilátorem). Teploty permanentně hlídám, jakmile se některá z nich mění o více než 0,5 °C, větrám nebo přitápím. U karet se spotřebou 300–400 W je průběžná korekce teploty okolí dokonce nutností, protože v místnosti o výměře devadesát metrů kubických přitopí taková sestava spolu se 30" LCD s CCFL o 1-2 °C za dvě, tři hodiny. Domnívám se, že řada recenzentů „drobnost“, jakou je aktuální teplota v místnosti, neřeší (koho by taky napadlo, že to dojde tak daleko, že bude po ránu grafika o 8 % výkonnější než v poledne.)

Obdobné je to i s testovací platformou, testujeme v podmínkách, které má většina náročnějších uživatelů – v prostornější skříňi (zavřené) s nepříliš agresivní ventilací (systémových ventilátorů je pět, ale běží na nižších otáčkách), zatímco běžnou praxí je testovat volně na stole nebo v lepším případě na otevřeném bench table (což musí topícím kartám vyhovovat víc, obzvlášť pokud komponenty navíc ještě ofukuje ventilátor).

Právě uzavření do skříně moc nevyhovuje kartám s méně výkonným chlazením. A to jsou (samozřejmě při daném nastavení otáček) jak referenční Radeony, tak referenční GeForce.

Obrovský vliv na výkon Radeonů má už jen to, v jakém prostředí se karta provozuje a to je to, co jsem psal i v závěru recenze – nemůžete se spoléhat na to, že ji přinesete z obchodu, strčíte do počítače, a ona poběží optimálně a na maximálních možných frekvencích. A obrovský vliv může mít i taková hloupost, jakou je nanesení pasty. Rozdíl 2 °C s přepastováním není nic neobvyklého, jen to dosud nemělo na výkon tak velký dopad (neberte to jako návod k rozkuchání čerstvě pořízené R9 290 a přepastování).

Neříkám, že recenzenti nedostali lepší karty stejně jako bych si to celé ani po vyzkoušení tří karet z obchodu netroufal uzavřít tak, že AMD lepší karty rozesílalo. Problém, jestli jsme měli nebo neměli lepší kartu, než se vůbec dá v obchodech pořídit, jen tak nerozlouskneme. Doufám, že „golden samples“ jsou noční můrou nejen mou, ale i většiny recenzentů a snažím se výrobcům věřit, že vybírání nějakých zvlášť dobrých vzorků není běžnou praxí (s takovou by nemělo smysl psát ani číst žádné recenze hardwaru na světě, drtivou většinu toho, co weby testují, poskytují právě výrobci).

Proti „zlatým vzorkům“ se z mého pohledu nedá dělat nic jiného, než že budeme odmítat vzorky výrobců a důsledně zapůjčovat pouze karty z obchodů (už to je problém). Vydávat kvůli tomu ale všechny recenze o čtrnáct dní později za světem i jinými českými weby je nemyslitelné, znamenalo by to rychlou smrt. Kolik čtenářů by si dnes za normálních okolností s chutí přečetlo recenzi o tom, jak je výkonný Radeon R9 290X, když to jinde viděli před dvěma týdny, někteří z nich jej již vlastní a od té doby vyšly dvě další karty (i když věřím tomu, že po „aféře se zlatými samply R9“ se zájem o testování běžných karet pořízených i se zpožděním na pultu obchodů prudce zvýší).

Ani to, že bude recenzovaná karta přímo z obchodu, ale nezaručí, že budou naměřené výsledky odpovídat kartě, kterou si koupíte vy, to už kvůli různorodosti jednotlivých kusů po otestování jednoho kusu prostě garantovat nelze.

A konečně, myslím si, že aktuální dění kolem R9 290X a R9 290 bude mít ještě dohru a jsou to první a poslední karty, u kterých je rozptyl ve výkonu tak vysoký. AMD tím samo a dobrovolně strčilo marketingu Nvidie další eso do rukávu, uvidíme, jestli se toho chopí. A možná, že to dojde na další softwarové úpravy ještě u stávajících karet (první věc – rozdílné otáčky ventilátorů při stejně nastaveném výkonu – už v ovladačích kompenzuje).