Tady tohle není už asi tak low level, ty optimalizace výkonu přes kompilátor shaderů do binárky, kterou zpracovávají jednotky už jsou o toršku vyšší vrstva. Ale je to teda ohromně rozsáhlá a sofistikovaná vrstva...
Edit: asi je dobrý si v tom kontextu představit kompilátory jako GCC na jedný straně a na druhý straně optimalizace v asembléru/intrinsics na úrovni jednotlivých aplikací. Ty GPU ovladače pro hry víceméně dělají oboje.
A v kompilátorech (normálních programů, pro CPU) práce nikdy nekončí. A většina programů taky není optimalizovaná jednou definitivně, vždycky by se dala tunit dál.