Odpověď na názor

Takze jsi vlastne rekl co ja predtim:
"Predpokladam, ze Cloud TPU of Googlu tohle bude muset predpocitavat na CPU."
"nevidim duvod, proc bych na specializovany HW neposilal rovnou prekodovana data CPUckem"

Jasne, ze tam bude overhead. GPU maji shader units, coz jsou vlastne maticove akceleratory. Jsou mnohem rychlejsi pri praci s obrazem, simulacemi atd., coz je ve strojovem uceni hojne vyuzivano, a hlavne vse je uz v pameti GPU a nemusi to cestovat z hlavni pameti.