Vlákno názorů k článku AMD chce dohnat náskok Nvidie v AI. Instinct MI325X, MI350X. Nové generace každý rok od Honza1616 - Akcelerátory s nižší přesností FP4..... Tak hlavně že Nvidie...

Akcelerátory s nižší přesností FP4.....

Tak hlavně že Nvidie byla kritizována, že pro marketingové testy dělá výpočty s nižší přesností.
A teď koukám že AMD bude tímto vybaveno také, a do toho že plánují vydávat novou generaci každý rok, opět po vzoru Nvidie?

xD To mě baví, co na nás AMD vytáhne ještě ?
Že tam nešoupnou rovnou FP2 nebo FP1 (pokud existuje), no vlastně ne, oni musejí počkat až to udělá Nvidia a až pak to taky okopírují.

Jako je to dost extrém. Kdo ještě pamatuje zobrazení s 16 barvama ve Windows 3.1, tak to je počet hodnot, který může mít hodnota INT4 - 16.

U FP4 to bude ještě větší brutus, mělo by to být 2 bity pro mantisu (4 možné hodnoty), 1 bit pro exponent (jeden bit sebere znaménko). Nebo 3 bity (8 hodnot) pro mantisu, nic pro exponent...

Ti uživatelé, co ty AI modely používají nebo trénují holt ale chtějí víc výkonu. Uvidíme, jestli to fakt dokážou využít. Asi to většinou nebude pro úplně všechny výpočty a část bude s vyšší přesností ("vyšší"... už to FP8 je dost limitované).

Jestli jsou podle vás 4 bity brutus, tak se radši nedívejte na 2b, nebo dokonce 1b papers. :D

FP2 a níž z principu existovat nemůže. Ono to začalo, co si pamatuju FP16, který existuje mraky let a začal jako Half. 32 - Single atd, asi už víte. Ale Intel zavedl odlišné provedení 16. jako BFloat. Ten přestal stačit a přišlo FP8 a nyní FP6 a FP4.
Kdysi byl binec ve formátech. Digital u minipočítačů PDP měl 12, 18, 36 bitů mimojiné - samozřejmě podle modelu. Existovaly i 32 a 64 bit stroje, ale taky 60 bitů. Každý výrobce si jel své formáty. Digital VAX už byly jen 32 a 64 bit, ale stále ještě před standardem IEEE754.
Píšu to ptoto, že sice opět narůstá počet datových formátů, ale naštěsí aspoň pod nějakým společným standardem.