AMD před týdnem vydalo nové serverové procesory Epyc 9005 s architekturou Zen 5, s nimiž současně šly na trh i až 192jádrové modely založené na jádrech Zen 5c, které tentokrát už jsou součástí stejné rodiny procesorů „Turin“. Během tohoto datacentrově zaměřeného „eventu“ firma přišla také s novými akcelerátory umělé inteligence: GPU Instinct Mi325X. To bylo oznámeno v létě a nyní jde oficiálně do prodeje, avšak s jinými parametry, než mělo mít.
AMD Instinct 325X
Instinct 325X je určitým refreshem před rokem vydaného akcelerátoru Instinct MI300X, kterému se podařilo konečně zabrat část trhu s AI (AMD už na něm utržilo pár miliard $). Jde o výpočetní GPU s architekturou CDNA 3, které má pokročilou čipletovou stavbu s podkladovou 6nm systémovou vrstvou a na ní položenými 5nm výpočetními čiplety.
Model Instinct MI325X obsahuje 304 CU (19 456 stream procesorů) s 256MB Infinity Cache. AMD pro něj uvádí frekvenci 2100 MHz – jde o „peak engine clock“, tedy asi je namístě mluvit o frekvenci boostu. GPU při ní dosahuje výkonu 81,7 TFLOPS ve výpočtech s dvojitou přesností FP64 pro vědecké výpočty. V AI akceleraci dosahuje GPU až 1,305 PFLOPS ve výpočtech FP16 a 2,61 PFLOPS při výpočtech s 8bitovou přesností (FP8, INT8). Při použití funkce sparsity je pak výkon dvojnásobný (tedy až 5,22 PFLOPS v INT8/FP8).
Tyto specifikace jsou stejné jako u MI300X. Nová vrze MI325X se totiž odlišuje po stránce pamětí. Zatímco MI300X má osazeno 192 GB paměti HBM3 na taktu 5,2 GHz (efektivně), Instinct MI325X jako první produkt AMD používá paměti HBM3E, které běží na 6 GHz (efektivně). Tím se zvyšuje propustnost pamětí z 5,3 TB/s na 6 TB/s, jelikož akcelerátor má 8192bitovou sběrnici.
Důležité ale je, že s HBM3E se zvyšuje i kapacita paměti. AMD původně oznámilo, že použije HBM3E s kapacitou 36 GB na jedno pouzdro (to by měly být 12vrstvé „stacky“ používající 24Gb čipy NAND), která by dala akcelerátoru 288 GB paměti. Údajně ale byl problém s dostupností této paměti, takže nakonec není v Instinctu MI325X použitá. Místo toho jsou použité HBM3E s kapacitou 32 GB na jedno pouzdro – snad jde o 16vrstvé stacky s 16Gb čipy.
Díky tomuto tedy nakonec Instinct MI325X poskytuje 256 GB paměti HBM3. Má tedy o dost víc paměti než poslední verze akcelerátoru Nvidia H200 generace Hopper (refresh s HBM3E má kapacitu 141 GB). Je zajímavé, že to dokonce bude vyšší kapacita, než má Nvidia u akcelerátoru B200 v nové generaci Blackwell, který má mít osazeno 192 GB paměti HBM3E. V některých případech AI aplikací může být kapacita největším omezením, protože určuje, s jak masivním modelem se dá pracovat a pokroky v AI, zejména v tzv. velkých jazykových modelech, jsou spojené právě s množstvím parametrů, a tedy datovou „velikostí“ modelu. Toto by aspoň teoreticky mohlo znamenat, že MI325X zůstane konkurenceschopný i po vydání Blackwellu, byť ten asi bude mít vyšší hrubý výkon. Ovšem i Nvidia nejspíš vydá další refresh Blackwellu, který kapacitu paměti navýší.
Celý akcelerátor se vyrábí v mezaninovém provedení Open Compute Accelerator Module (OAM), přestože používá připojení přes PCIe 5.0 ×16. Modul má příliš vysokou spotřebu na kartu PCI Express, s TDP až 1000 W. Současně ale také poskytuje koherentní linky Infinity Fabric Link k propojení s dalšími GPU a CPU v systému. Těchto linek má GPU osm, přičemž jedna má mít propustnost 128 GB/s.
8X instance s akcelerátory AMD Instinct MI325X v provedení OAM
Pro původní verzi MI300X AMD uvádělo špičkovou spotřebu 750 W a nezdá se, že by ten rozdíl proti 1000 W u modelu 325X měly vždy celý zkonzumovat paměti HBM3E. Je proto možné, že se přes stejné udávané frekvence maximálního boostu o něco navýší i hrubý výkon, protože GPU bude schopné jet v plných zátěžích na vyšších taktech. Lepší frekvence zmiňuje i web ServeTheHome, takže asi k tomuto skrytému upgradu opravdu došlo. Toto spolu s vyšší propustností pamětí slibuje, že výkon bude lepší než u MI300X.
AMD uvádí, že Instinct MI325X začne komerčně dodávat v aktuálním kvartálu (tedy do konce roku), široce by měl být dostupný v Q1 2025. Mají ho nabízet výrobci serverů HP, Supermicro, Gigabyte, Dell, Lenovo a Eviden (a údajně i další). Spolu s těmito akcelerátory by jinak AMD mělo začít prodávat také „AI“ smartNIC Pollara 400 a DPU Salina, což jsou produkty divize Pensando – původně samostatné firmy, kterou AMD koupilo v roce 2022.
Instinct MI355X
Instinct MI355X příští rok s CDNA 4
AMD také sdělilo, že za rok v druhé polovině roku 2025 už má být dostupná další generace jeho akcelerátorů AI, což má být Instinct MI355X (původně v létě AMD uvádělo označení MI350X, zde tedy také došlo ke změně). Instinct MI355X dostane ony 36GB paměti HBM3E, které měl původně mít MI325X, takže zvýší kapacitu paměti na 288 GB. MI350X bude už skutečně nová generace, a nikoliv jen refresh, protože má používat novou architekturu označenou CDNA 4.
Roadmapa AI akcelerátorů AMD Instinct a architektur CDNA
Dalším krokem pak má být opět úplně nová generace MI400X, která také přinese novou architekturu. Té zatím AMD říká CDNA Next, ale asi je možné, že ji nakonec označí UDNA, pokud už v té době dojde ke sjednocení architektur s herní linií GPU Radeon, které firma nedávno oznámila. Tento produkt bude na trhu, nebo alespoň oficiálně odhalen, údajně v roce 2026.
Zdroje: AMD (1, 2), ServeTheHome, VideoCardz
