Na nejakem HW pracovat budou a jiste to bude neco z oblasti ARM, je to pro ne nejrychlejsi cesta jak si takovej HW navrhnout a zprovoznit
otazkou je co se SW casti, neb to co je v Teslach nyni je po SW strance take dilem Nvidie a Tesle se prave nelibilo a nelibi ze to Nvidia nabizi dalsim automobilkam, vpodstate ty hromadne zkusenosti tak Nvidia muze vyuzivat dal pro business ktery jde primo proti obchodnim zajmum Tesly :) paradoxni je to hlevne proti prohlasenim Muska, ktery by chtel a dari se mu rozjet celosvetovou elektromobility, a tvrdil ze Tesle je k tomu nastrojem a nema tendence bejt dobudoucna velkou automobilkou, ale ted kdys se Tesle relativne dari, tak obraci a pod rouskou anonymity zacina delat kroky proti konkurenci ktera se toho zacina chytat, ostatne i velke uvolneni patentu Tesly bylo ve finale uvolneni asi 20 patentu z 30, kde o ty nejdulezitejsi ohledne chemie baterii se jaksi nepoddelili, proste velke a velice dobre zmaknute PR :)
ale ja Tesle fandim, jiz jen proto ze mam pomalu jejich akcii a ze to je firma ktera oblast elektromobility opravdu rozhybala :)
Co by na tom nebylo jednoduchého? HW prostě jen musí umět nasimulovat neuron, což není nic jiného, než výstup=nějaká přechodová funkce (třeba hyperbolický tangens) ze sumy (vstup x jeho váha). Důvod, proč je to na klasickém počítači pomalé, je ten, že to násobení vstup x váha dělá postupně, což celkem zdržuje, když jeden neuron má třeba tisíc vstupů. Takže ten HW na AI je v podstatě jen taková lepší kalkulačka, co zvládá souběžně hodně násobení. A mimo násobení, sčítání a nějaké té přechodové funkce nemusí umět nic jiného.
Kdyz jste laik, tak byste se k tomu nemel moc vyjadrovat.
Neuronove site se skladaji z vrstev. Tech vrstev muze byt velmi mnoho. Kazda vrsta muze mit tisice neuronu. Pokud mate vrstvu A a za ni nasleduje vrsta B, tak kazdy neuron ve vrstve A komunikuje se vsemi ve vrste B. Pro dve vrstvy s 1000 neurony je to 1000000 spojeni. Je to vlastne spolu s vahami kazdeho spojeni potencialne obrovska matice, navic nema fixni velikost. Sirky vrstev se nemeni jen v ramci ruznych druhu siti, ale i v ramci ruznych vestev v jedne siti. Jenze hardware je jaksi fixni. Jak to vyresit? Na radu prichazi faktorizace, neboli snaha rozdelit tu velkou matici na mnoho malych, ktere uz jsou jednotkou s fixni velikosti zpracovatelne. A to uz neni trivialni. Jenze do hry se pak vkladaji ruzne typy vyhodnocovani signalu v ruznych vrstvach neuronu a take metody uceni, jako treba backpropagation. Pak tu mate jeste scheduling, ktery se stara o rozdelovani prace na zaklade vsech tehle informaci.
Proto hardware napr. v TensorCores samozrejme nedela jen FMA, i kdyz to je hlavni operace. Musi mit i tu ostatni logiku a to je ta netrivialni cast, kterou vy a autor jako laikove jaksi nevidite. Neni nahoda, ze takovy hardware v efektivni podobe maji dnes jen nejvetsi hraci, jako Nvidie a Google. AMD s velkou slavou (a k popukani vsech krom skalnich AMD fandu) vydala cip pro AI, ktery byl uz v dobe vydani mnohonasobne pomalejsi, nez konkurencni reseni. Zadne akceleracni jednotky nema. A AMD muze mit stejny problem tuhle technologii napodobit jako mela u Vegy s tile-based rasterizerem. Vsichni vime, jak tragicky to dopadlo.
Tensor Cores a TPU jsou hrubá síla a výkon. IMHO to, co v AI aplikacích udělá ten skutečnej kvalitativní rozdíl, bude ale stejně software. Řízení auta a rozpoznávání okolí není uzavenej a přesně definovanej problém jako hashování BTC nebo dekódování H.264, aby se dalo "vyřešit" na úrovni hardwaru, IMHO to hlavní bude v softwaru. Ten bude sice potřebovat určité výkonnostní kvality, ale to bude jen nutná, ne postačující podmínka.
@Maudit..ty jsi opravdu vtipny ...ja jsem mel jeden z predmetu na statnicich Neuronove site a to bylo v roce 1994. Sice si z toho pomatuji kulove, protoze jsem to od te doby nemel moznost vyuzit a od te doby uz jaksi ujel vlak, ale tvoje predstavy o tom, ze Neuronky jsou nejakou "nynejsi" vyozenosti jsou opravdu jen k smichu.
Mozna by jsi mel nejdrive vratit neco ty sam (pokud vubec neco jako diplom mas a neni to jen Mrkvosofti papir), nez se tady zacnes obouvat treba Holecka... trocha slusnosti by ti taky neuskodila.