Názor k článku Architektura a novinky GPU Turing. Detailní pohled na novou architekturu Nvidie od Maudit - Zda se spis, ze ty nechapes, jak neural...

Zda se spis, ze ty nechapes, jak neural networks funguji. Nebo nechces chapat? ;) Rozdil mezi klasickymi zpusoby zpracovani obrazu a deep learningem je prave v tom, ze se deep learning nauci rozumnet tomu, co je na obrazku. Pocitacove videni ti nic nerika? Jak umeji neural networks poznat, ze je na obrazku pes, kocka nebo jakekoliv jine zvire (dnes uz lepe, nez clovek), jak umeji dynamicky poznat objekty v okoli a umoznit tak autonomne rizena auta? Je to prave o tom, ze dokazou pochopit obsah. To je to, co klasicke ciste matematicke metody nedokazou. A to je ten duvod, proc se tomu rika umela inteligence. Clovece lzes jenom sam sobe :) Ale nemusime chodit daleko, vsak on o tom Huang mluvi primo v keynote:

"It can then generate pixels in has never seen before, pixels that make sense to go there. If you and I were to look at it, we would know what pixels make sense to go there, so it makes sense that we can teach a neural network to make sense of what pixels go there."
https://youtu.be/Mrixi27G9yM?t=59m54s


To uplne krasne demonstruje, jak totalne mimo jsi ohledne chapani funkce DLSS, viz treba:

"Ale ta nedělá žádnej supersampling, ta jenom udělá s každým pixelem efekt, kterej se naučila dělat při tom trénování. Je to čistě spatial filtr a nepoužívá na výstupní pixel víc samplů. DLSS ani DLSS 2X neví nic o tom, jakou má scéna geometrii, neví nic o objektech, je to filtr běžící čistě na pixelech. Jako to waifu2x…"

DLSS praveze rozumi tomu, co je na scene, rozumi geometrii, dokaze identifikovat objekty i detaily a inteligentne je doplnit. Ty extra samply nepochazeji z rasterizace jako klasicky aliasing, ale prave z toho, ze ta neuralni sit chape scenu, co na danem miste ma byt. DLSS se nauci, jake objekty jsou pro danou hru typicke a pak je dokaze doplnovat. Pokud by to byl obecny spatial filtr, nemusel by se trenovat pro kazdou hru zvlast. Tohle ti budu pripominat jeste hodne dlouho. Ten link si ukladam. Diky ;)

Mozna by stalo za to, abys nam teda vysvetlil, jak NGX dokaze teda doplnovat v modu InPainting chybejici mista v obrazcich (ktera jsou dost znacna), viz. treba strana 38 z whitepaperu?
https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf


Ale jasneeeee, urcite jde o spatial filter, zejo. Proste cela ta prostredni cast obliceje, vcetne oci, nosu a tvari byla doplnena ciste vektorovou interpolaci :D :D :D Ted je fuk, ze se snazis lhat (ne moc uspesne) nam vsem. Vis me fakt zacina udivovat, co si za cloveka, ze dokazes tak brutalne lhat sam sobe. To je mnohem horsi.

"P.S. A ty tvoje básnš o tom, že to běží na tensor cores, takže něco!!!11one, to s tím nemá co dělat."

DLSS bezi na Tensor Cores. To je fakt. Klasicke formy antialiasingu bezi na shader units. Taky fakt. Usetri se tak prace rasterizacni pipeline, ktera se da pak vyuzit na dalsi snimky, protoze se prace presune z shader units na Tensor Cores? Ano.

Me je jasne, ze se snazis DLSS zdiskreditovat a bagatelizovat, protoze pak urcite budes rikat "ale tech 200% vykonu GTX1080/1080Ti, to se napocita, vzdyt je to s DLSS". Myslim, ze to vidi kazdy. Jenze k tve smule, 4k DLSS nabizi kvalitnejsi obraz nez 4k TAA a 4k DLSS 2x nabizi dokonce obraz v kvalite nerozpoznatelne od 64xSS. Tak proc by se kvalitnejsi vystup nemel pocitat? ;)