Odpověď na názor

Kdyz jste laik, tak byste se k tomu nemel moc vyjadrovat.

Neuronove site se skladaji z vrstev. Tech vrstev muze byt velmi mnoho. Kazda vrsta muze mit tisice neuronu. Pokud mate vrstvu A a za ni nasleduje vrsta B, tak kazdy neuron ve vrstve A komunikuje se vsemi ve vrste B. Pro dve vrstvy s 1000 neurony je to 1000000 spojeni. Je to vlastne spolu s vahami kazdeho spojeni potencialne obrovska matice, navic nema fixni velikost. Sirky vrstev se nemeni jen v ramci ruznych druhu siti, ale i v ramci ruznych vestev v jedne siti. Jenze hardware je jaksi fixni. Jak to vyresit? Na radu prichazi faktorizace, neboli snaha rozdelit tu velkou matici na mnoho malych, ktere uz jsou jednotkou s fixni velikosti zpracovatelne. A to uz neni trivialni. Jenze do hry se pak vkladaji ruzne typy vyhodnocovani signalu v ruznych vrstvach neuronu a take metody uceni, jako treba backpropagation. Pak tu mate jeste scheduling, ktery se stara o rozdelovani prace na zaklade vsech tehle informaci.

Proto hardware napr. v TensorCores samozrejme nedela jen FMA, i kdyz to je hlavni operace. Musi mit i tu ostatni logiku a to je ta netrivialni cast, kterou vy a autor jako laikove jaksi nevidite. Neni nahoda, ze takovy hardware v efektivni podobe maji dnes jen nejvetsi hraci, jako Nvidie a Google. AMD s velkou slavou (a k popukani vsech krom skalnich AMD fandu) vydala cip pro AI, ktery byl uz v dobe vydani mnohonasobne pomalejsi, nez konkurencni reseni. Zadne akceleracni jednotky nema. A AMD muze mit stejny problem tuhle technologii napodobit jako mela u Vegy s tile-based rasterizerem. Vsichni vime, jak tragicky to dopadlo.