Výpočty algoritmů „umělé inteligence“ (či přesněji řečeno neuronových sítí) se v uplynulých letech staly silnou parketou výpočetních GPU a otevřely jim nové příležitosti v datacentrech. Výkonné GPU není ale pro tyto úlohy nejlepší možný výpočetní hardware. Typické neuronové sítě se dají velmi dobře akcelerovat speciálními „ASIC“ akcelerátory, které mohou být efektivnější a levnější. A počet firem, které se o takové čipy pokouší, je značný. Nejnověji se k nim přidalo docela velké jméno: Qualcomm.
Edga/datacentrové akcelerátory do PCIe nebo slotů M.2
Qualcomm se po serverové oblasti (kde má uvedený procesor Centriq, ale s jeho budoucností to vypadá všelijak, soudě dle propouštění týmů, které na něm pracovaly) pustil i do akcelerátorů strojového učení. Míří s nimi na cloudová datacentra a první generace, kterou teď oznámil, se jmenuje Qualcomm Cloud AI 100.
Qualcomm Cloud AI 100 je vyráběný na nejmodernějším 7nm výrobním procesu a údajně by měl být až desetkrát rychlejší než to, co je dnes dostupné. Ovšem podobná srovnání často používají metodu vyzobávání třešniček z dortu, takže bych je zatím spíš ignoroval. Společnost ale uvádí, že v AI akcelerátorech odkáže uplatnit zkušenosti z mobilních procesorů a DSP (blok Hexagon v čipech Snapdragon) a poskytnout špičkovou energetickou efektivitu. Ostatně mobilní SoC dnes mají vlastní akcelerátory pro výpočty neuronových sítí třeba pro detekci/rozpoznávání objektů nebo úpravu fotek. A Qualcomm asi architekturu vyvinutou pro tyto účely AISC chce vedle toho uplatnit i pro výkonnější akcelerátory v datacentrech.
Prezentace Qualcomm Cloud AI 100 (Zdroj: AnandTech)Akcelerátory Cloud AI 100 by patrně měly sloužit hlavně k inferenci, tedy aplikování už jednou natrénovaných sítí. A vzdor názvu asi nejen v datacentrech, ale také či zejména v „edge“, tedy v zařízeních běžících přímo v reálném světě, ať už je to síťová nebo třeba telekomunikační infrastruktura, systémy bezpečnostních kamer a podobné. Tam by se totiž měla uplatnit úsporná architektura.
Na ilustračních vizualizacích je akcelerátor Qualcommu zobrazen jako velká karta do slotu PCI Express, ale ve skutečnosti asi půjde o řešení o dost subtilnější, než highendové GPU nebo FPGA. Spotřeba je plánována v rozsahu 20–75 W, tyto adaptéry by tedy byly o dost úspornější a patrně i menší. A přímo je zmíněno, že se počítá i s tím, že by se vyráběly v provedení M.2, což by dovolovalo je instalovat ve větším počtu a v mnohem kompaktnějších šasi.
Prezentace Qualcomm Cloud AI 100 (Zdroj: AnandTech)Čip bude mít specializovanou architekturu, ale bude podporován v rámci rozšířených framwerků: TensorFlow, Glow, Keras, ONNX, Caffe2, PyTorch a další. V tiskovce je citována i spolupráce s Microsoft Azure.
Prezentace Qualcomm Cloud AI 100 (Zdroj: AnandTech)Galerie: Qualcomm Cloud AI 100
Trh ASICů pro umělou inteligenci čeká ostrá konkurence
Kromě GPU Nvidie a v menší míře AMD bude mít Qualcomm na tomto trhu ale docela dost konkurence. Qualcomm je jeden z větších hráčů, ale ASICy pro AI chystá také Intel (Nervana, i když se mu hodně opožďují) nebo Huawei/HiSilicon. Kromě toho existuje množství startupů zaměřených na tento nový trh – na západě, ale hodně také i v Číně. Psali jsme například o Cambriconu, na AI se ale myslím chtěl přeorientovat také výrobce ASICů pro kryptotěžbu Bitmain. A největší provozovatelé datacenter mají také ambice si takové akcelerátory vyrobit sami – kromě TPU od Google má takové spády například i Amazon.
Na trh se ovšem čipy/akcelerátory Cloud AI 100, ať už jako karty PCI Express nebo moduly M.2 dostanou až za poměrně dlouhou dobu. Mají být masově dostupné zákazníkům až příští rok. Již letos v druhé polovině roku by však měly být vydány vzorky.
