Názor k článku Vychází benchmark, ve kterém snadno porovnáte výkon NPU, grafik i CPU v umělé inteligenci od Jan Olšan - TOPS se používá hlavně pro vyjádření teoretického výkonu...

TOPS se používá hlavně pro vyjádření teoretického výkonu (takže kolik operací výpočetní jednotky dokážou udělat za cyklus krát frekvence).

Kdyby měl benchmark měřit nějaké praktické dosažitelné TOPS (tera ops per second), tak by musel být čistě syntetický. Tady to jsou testy v nějakém praktickém modelu, které se dají jenom bodovat nebo hodnotit podle délky trvání nebo počtu zpracovaných obrázků za sekundu a tak podobně. Kolik se přitom realizuje "operací" za sekundu, ten benchmark nemá jak zjistit.

Jinak ten výsledek, co je v článku, je změřený s backendem OpenVINO. Není ten váš výsledek s backendem ONNX, který je vybraný v defaultním nastavení benchmarku? (Podle toho nízkého skóre v hallf-precision bych si tipl, že ano, s OpenVINO by snad FP16 mělo mít podobný výkon jako FP32). S ONNX dostanu o hodně horší výsledek: https://browser.geekbench.com/ai/v1/compare/11885?baseline=11853