Názor k článku ARM odhaluje Trillium: procesory pro umělou inteligenci. Ovládne po světě mobilů i AI? od Maudit - To je hezky, odpovidat na neco jinyho, nez...

To je hezky, odpovidat na neco jinyho, nez na co jsem reagoval. Presne odpovida ty povaze, kterou uz zname :) Ja reagoval na tohle:

"Co takové Tegra Xavier? Takže v ní Tensor cores taky trénujou (to je fikaný, trénujou distribuovaně auta a není třeba žádnejch datacenter doma!) a auťáky za ně řídí asi ty CPU jádra Denver v tom SoC, co? "

Pointa vubec nebyla o tom, jestli se da na TensorCores trenovat, vyhodnocovat nebo oboji. To je jasne, ze jde oboji. Pointa je v tom, ze Nvidia sama mluvi o Xavieru jako o platforme, kde se budou pouzivat u natrenovane site. A o serverech s GV100 jako o hadrwaru, kde se bude trenovat. Viz. obe citace (Nvidia, Anandtech) nahore.

Na neuralni siti s presnosti Int8 taky muzes trenovat, ale ta vysledna kvalita bude totalne naprd. Proto se trenuje s vyssi presnosti a pak muze uz ta inference bezet treba s Int8 presnosti. Vahy jednotlivych spoju uz jsou spoctene a snadno se daji prevest na nizsi presnost.