Už nějakou dobu se šíří informace o tom, že Microsoft pracuje na vlastních čipech pro akceleraci umělé inteligence, kterými by ve svých datacentrech doplnil, pokud ne rovnou nahradil značně drahá GPU od Nvidie. Společnost je teď skutečně oficiálně oznámila, ale nezůstalo jen u akcelerátorů AI. Microsoft představil také vlastní procesory pro servery založené na architektuře ARM, kterými se zařadí po bok Amazonu a jeho Gravitonů.
Microsoft pořádal konferenci Ignite, kde firma (a partneři) prezentovali různé datacentrové novinky týkající se cloudových služeb Microsoft Azure. Nejzajímavější je z toho ale vstup Microsoftu do navrhování a výroby vlastních „čipů“, které vytvořila křemíková laboratoř firmy v Redmondu.
Azure Maia: vlastní ASIC pro umělou inteligenci
Už dávněji prozrazený akcelerátor AI, jenž má ambici zastoupit nebo nahradit GPU od Nvidie, se jmenuje Azure Maia 100. Microsoft k němu neříká mnoho architektonických podrobností, ale podle obrázků by asi mělo jít o velký monolitický čip s pamětí typu HBM (HBM3 nebo HBM3E). Microsoft uvádí, že křemík vyrábí na 5nm procesu TSMC a čip má 105 miliard tranzistorů.
Microsoft Azure Maia 100
Maia 100 podporuje spřažení akcelerátorů do většího klastru, přičemž pro komunikaci používá síť založenou na modifikované technologii Ethernet. Toto propojení má mít agregovanou propustnost až 4,8 Tb/s, ale není jasné, co přesně se tím myslí. Pravděpodobně jde o součet propustnosti linek všech rozhraní akcelerátoru (nejspíš se započítáním duplexní kapacity). Naopak třeba údaje o teoretickém výpočetním výkonu v TFLOPS a TOPS zatím Microsoft neprozradil.
Chlazení pro AI akcelerátory Azure Maia 100
ARM procesory Azure Cobalt
Procesor pojmenovaný Azure Cobalt 100 by také měl být vyráběný 5nm procesem a bylo sděleno, že obsahuje 128 jader. Používá architekturu ARM (přesněji ARMv9) a je pravděpodobné, že Microsoft nevyvinul vlastní jádro, ale licencoval si architekturu Neoverse od firmy ARM – jejíž smysl má právě spočívat v tom, že díky levnému a snadnému licencování se firmám typu MS vyplatí si vlastní CPU navrhnout a nechat vyrábět.
Nevíme, jaká jádra jsou použita – buď může jít o výkonnou architekturu Neoverse V2, která má slušný výkon na jedno jádro, respektive vlákno (není použité SMT), nebo by mohlo jít o Neoverse N2, nebo snad novou N3, což jsou méně výkonná jádra, která ale mají nižší spotřebu a vejde se jich na čip víc. Takové CPU by pak bylo vhodné pro servírování cloudových instancí. Tato jádra lze zhruba připodobnit k jádrům Cortex řady X (například X4) pro mobily v případě Neoverse V, nebo zase k jádrům kategorie Cortex-A715 či A72 v případě Neoverse N.
Aktualizováno:
Podle SemiAnalysis je použita ona cloudová linie CPU jader, specificky generace Neoverse N2, a procesory mají dvanáctikanálový řadič pamětí DDR5 (tedy obdobné paměti jako u Epyců 9004).
Microsoft Azure Cobalt 100
Licenční IP od ARMu má být v Cobaltu upravené. Microsoft také používá vlastní design serverů a vlastní design racků pro ně. Racky pro systémy s akcelerátory Maia 100 mají větší šířku s větším prostorem vyhrazeným pro vedení kabelů propojujících uzly v racku. Microsoft k nim také vyvinul „přístavky“ přezdívané Sidekick pro kapalinové chlazení, v nichž se nachází výměník chladicího okruhu.
Komerční dostupnost těchto čipů v datacentrech Microsoftu a případně v cloudu Azure pro zákazníky má odstartovat někdy začátkem roku 2024. Aktuálně probíhá první fáze jejich rozběhávání a mají běžet první servery. Provozovány na tomto vlastním hardwaru mají být služby Microsoft Copilot, Azure OpenAI a další. V případě akcelerátoru to budou AI aplikace, ale procesory Cobalt by mohly být nasazené v mnoha různých rolích.
Serverový rack Microsoftu s čipy Azure Maia 100 s pomocnou chladicí jednotkou Sidekick nalevo
Maia 100 a Cobalt 100 nebudou nějakou jednorázovou věcí, firma má ve vývoji další generace, které budou následovat. Na druhou stranu ale také nejde o kompletní přechod datacenter Microsoftu nebo Microsoft Azure na tento „custom“ hardware. Na akci Ignite firma naopak oznámila i nová partnerství s Nvidií (nová instance NC H100 v5 s akcelerátory Nvidia H100, později by měla přibýt i nedávno odhalená GPU H200) a AMD (akcelerátory Instinct MI300X).
Zdroje: Tom’s Hardware, Microsoft, SemiAnalysis
