Názory k článku Lepší kvalita DLSS: ve hře Control má Nvidia temporální stabilizaci proti shimmeringu

Ano. O tom taky pisu. Kde je tam to "upsalovani"?

No kde se vzalo:
1) "ale zde by paradoxně mohlo obnovovat detaily, které spatiální DLSS rozmazávalo"
2) "zatímco spatiální algoritmus je může považovat za šum a odstranit je"

Aneb to, ze Nvidia na mnoha mistech zminuje temporalni vlastnostni a efekty je marketing. Zatimco spatial filter/dlss, ktery tam neni ani jednou, je pravda. Chapu to spravne?

Presne.

Copa o to, Stach, Soucek a Belka chodej na cizi weby pod alter egama. Na nekterejch webech dokonce tvorej jejich aliasy nemaly procento diskuteru, zejo kluci :) AV ma narozdil od jinejch autoru aspon koule chodit na trh s vlastnim jmenem.

Na autoencoderu neni nic magickyho.

To ale neni ciste 720p. Je to 720p s in-engine scalingem na 1080p proti 720p s DLSS na 1080p. My nevime, co je in-engine scaling. Nevime ani jaky performance hit ma ten in-engine scaling. Muze mit kratsi dobu vypoctu nez DLSS, ale nemusi (zalezi, co dela interne). Navic bude pravdepodobne vyuzivat klasicke jednotky, tzn. muze byt kratsi na vypocet, ale po tu dobu bude jednotky blokovat.

Ta demonstrace byla hlavne ale o potencionalni kvalite.

Jsou tu weby, ktery nemaji vubec zadnou sebereflexi a ty si stezujes na pct? :D Venujes stejny mnozstvi na stiznosti na objektivitu diitu a blogysku? Ne.

Jako když mluvím o konceptu filtrování v rámci jednoho snímku, tak pro to potřebuju nějaký termín. Moh jsem použít intraframe/interframe nebo 2D/3D (což by tady bylo zavádějící), ale když použiju "spatial", tak doufám, že to zrovna lidi přes video budou znát a tím to pro ně bude hned přístupnější.

No, jenže když je ten potřebnej výkon v jednu chvíli příliš vysokej, tak už pak nestačí jenom optimalizace ve smyslu "napišme to chytřeji", které nemění výsledek. Při zrychlování takových náročných filtrů (nebo třeba enkodérů videa) prakticky vždycky jde o to, přiblížit se co nejvíc tomu výsledku, zatímco se co nejvíc zlepší výkon, ne zachovat 1:1 ten původní výsledek a zlepšti výkon tak jak to jde pod touto podmínkou. Protože na tom špičkovém/ideálním výsledku se většinou podílejí i věci, které mají příliš velkou náročnost. Pokud ten research model byl dělaný na to, aby byl co nejlepší, tak tam nejspíš bude rozdíl mnoha řádů ve výkonu (= náročnosti) proti něčemu, co běží realtime.
Kdyby ne, tak to znamená, že ten research model má rezervy a mohlo se v něm zajít dál...

Jako tohle neříkám jako jistotu, je to jenom můj odhad na základě toho, jak to tak nějak vypadá a nějakých zkušeností. Mylsím, že je prostě pravděpodobnější, že to bude ta aproximace, nebo možná lépe řečeno port, kde nějaké vlastnosti bude převedené, někde se sníží komplexita (počet neuronů), některé prvky se třeba budou muset vynechat. A můžu se v tomhle plést, ale jako je to realističtější, než že by to na Turingu běhalo bez zásadnějších funkčních změn.

No ale nerika tvuj guru, ze je chyba zakazniku, ze se Nvidii tak dari? Myslim, ze to opakuje v kazdym clanku aspon tak 5x, ze kdyby hloupi zakaznici osklivou zlou Nvidii a osklivej zlej Intel nekupovali, bylo by najednou vsechno v poradku a AMD by po zasluze vladla svetu? ;)

@Adam Vágner, Obr je odborník, celá flotila kritikov jeho práce neumí ani zlomok z jeho vedomostí a znalostí, fajn, že ho máte.

Tady nemluvime o filtru, ale o neuralni siti. Ty jsi snad expert i na optimalizovani neuralni site? To klobouk dolu. Ona se snad experimentalni neuralni sit optimalizuje stejne jako ciste matematicky postupy? Nevime skoro nic o strukture ty site.

No pokud chces referencovat HWUnboxed, tak pro me jakakoliv rozumna diskuze skoncila. Je mi uz celkem jasny, ze tady nejde o nic jinyho, nez zkusit propasovat do eteru myslenku, ze by DLSS nejak zhorsovalo vykon. Coz je samozrejme nesmysl.

U F1 bylo DLSS rozbity. Proto byl videt ten temporalni charakter - kvuli chybe. U FF neznamena absence rozmazani absenci temporalniho prvnku. Znamena absenci ty chyby, ktera byla v F1. DLSS bylo a je temporalni od zacatku. Uz v prni prezentaci Huanga to bylo, v blog postech to bylo. Vsechno si oznacil za marketingovy reci.

V tom whitepaperu to taky je, hned na zacatku:

"DEEP LEARNING SUPER-SAMPLING (DLSS)
In modern games, rendered frames are not displayed directly, rather they go through a post processing image enhancement step that combines input from multiple rendered frames, trying to remove visual artifacts such as aliasing while preserving detail. For example, Temporal Anti-Aliasing (TAA), a shader-based algorithm that combines two frames using motion vectors to determine where to sample the previous frame, is one of the most common image enhancement algorithms in use today. However, this image enhancement process is fundamentally very difficult to get right.

NVIDIA’s researchers recognized that this type of problem - an image analysis and optimization problem with no clean algorithmic solution - would be a perfect application for AI."
https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf
(strana 34)

Jasne tam definujou problem - moderni algoritmy pouzivaji temporalni pristup. A ted pozor - jako problem definujou schopnost spravne kombinovat data z vic snimku. A v zapeti mluvi o tom, ze na jeho reseni je idealni pouzit AI. Nikde se tam nepise ani slovo o tom, ze DLSS je spatial technika.

@Maudit
Tvůj citát mluví o TAA, temporal antialiasing, ne o DLSS.
A z toho whitepaperu vychází můj článek o DLSS, proti kterými jsi vždycky tak horlivě flamoval. Je to na stránce 34 a už mě fakt štve, že jsem ji četl snad 30x, abych se přesvědčil, že tam to, co tvrdíš není. Tahle šaskárna mě stála možná už i desítky? (desítku bych řekl že určitě, lol...) hodin, který jsem moh věnovat něčemu smysluplnějšími. I teď jsem si to přečet a zase si myslím, že prost úproně tvrdíš něco, so není pravda, a já se můžu jenom dohadovat, jestli ti něco nedochází, nebo jestli je to jedno, nebo kde je problém. Já o sobě pochybuju a zamýšlím se, jestli jsem se třeba dřív nespletl. Docela by mě zajímalo, jestli si to někdy zkusil ty.

Jako v případě DLSS se většina tvejch domněnek nakonec ukázala jako blbost. Tvrdil si leccos, od toho, že to bude zlepšovat kvalitu nad úroveň nativního vykreslování, hádal ses o to, že je to supersampling a ne rendering naopak na nižším rozlišení a pak upscale (což už je teď doufám nesporný)... Taky si spoustu těch věcí tvrdil dřív, než o nich byly k dispozici nějaký informace, což znamená, že buď máš ty nejlepší zákulisní informace, nebo si někdy cucáš věci z prstu.

To prislo az s Kochrenem. Pred Kochrenem pohoda.

A btw, me uz to taky nebavi cist jak to porad okecavas. Uz sem davno chtel bejt pryc, at si to tu uzijes klidne. Diskuze pod timhle clankem uz je z my strany ciste jen proto, abych mel nejakou closure u tematu, ktery tu resime dlouho. Pak uz si pis co chces a me tu neuvidis.

Muj citat jasne mluvi o TAA, tzn. temporal aliasingu. Ale v zapeti mluvi o tom, ze stejnej problem se oni snazi resit pomoci AI, tzn. DLSS. A ja ti nevim, ty mi tu porad tvrdis, jak to v tom nevidis, i kdyz jek je videt nejen podle me je to ocividny.

Zatimco kdyz ja se zeptam, kde je v tom whitepaperu cokoliv, byt jedina zminka, o tom, ze DLSS je spatial technika, nebo o tom ze DLSS je upscaling, nikdy nedostanu odpoved. Zadna zminka o upscalingu nebo spatial filtru tam u DLSS neni. Ani jednou tam ty slova nejsou. Doporucuju zkusit full text search.

A tak se ptam, kdyz co tvrdim ja, ma byt jen "mozna" (z tvyho pohledu) zaklad v tom whitepaperu a mluvi o tom i ty blogposty a Huang v keynote (coz opet podle tebe je marketing), zatimco o tve alternative nikde v materialech Nvidie neni ani slovo - na zaklade ceho je tvoje vysvetleni spavne a moje spatny, "což už je teď doufám nesporný" podle tebe?

@Maudit
"Zatimco kdyz ja se zeptam, kde je v tom whitepaperu cokoliv, byt jedina zminka, o tom, ze DLSS je spatial technika, nebo o tom ze DLSS je upscaling, nikdy nedostanu odpoved."

Jenže to tam nemusí být zmíněné, protože spatiální upscaler je to, co by to mělo být ve výchozí sitauci, to je základ - protože co jinýho by to jako mělo být? Naopak temporální fungování je pak něco extra nad tenhle základ, a tudíž by to potřebovalo nějakej doklad*. Kterej tam ale není. Ale v tomhle případě ti to najednou nevadí, a jako důkaz ti tam stačí, že se řekne, že TAA je temporální. Z toho podle tebe vyplývá, že DLSS je temporální taky, protože... tvoje přání. No fakt sranda.

* Když přijdeš k řece a jeden člověk ti bude tvrdit, že tam teče voda a druhej, že je to blbost, že tam teče líh... na kterým bude břemeno důkazu? Možná to tad není tak vyhraněný, ale IMHO tady je břemeno důkazu na tom, kdo tvrdí, že je to temporální processing. To v tom whitepaperu není a kdyby ten filtr tehdy temporální byl, tak by se tím pochlubili. Oni ho tam ale naopak dávají s temporálním TAA do protikladu a ukazujou, že to nemá typické artefakty pro temporální fungování (tehdy, nemluvíme teď o tom F1 , kde to už temporální podle všeho je).

"byt jedina zminka, o tom, ze DLSS je spatial technika, nebo o tom ze DLSS je upscaling, nikdy nedostanu odpoved."

Tohle je prokazatelně nepravda, že to je upscaling je zrovna věc, která je tam řečená jasně: "DLSS allows faster rendering *at a lower input sample count*, and then infers a result that at target resolution "
Kromě toho to dokázalo v podstatě všechno - to, jak to vizuálně funguje ve hrách a ani Nvidia to nijak nezastírá, jak už se tu diskutovalo, takž tady se fakt jenom kroutíš, že ti hanba není.

"Uz sem davno chtel bejt pryc, at si to tu uzijes klidne. Diskuze pod timhle clankem uz je z my strany ciste jen proto, abych mel nejakou closure u tematu, ktery tu resime dlouho. Pak uz si pis co chces a me tu neuvidis."

Jo, to by bylo pro můj klid super, kéžby a doufám, že v tomhle záměru budeš mít co nejvíc úspěchů :)
Ale mám teda takovou neblahou předtuchu, aby se to nepokazilo :( Ne že bych tě chtěl hecovat, ale asi "too good to be true..." jak říkají angličáci.

Takhle to vypada dost dobre v obou pripadech. To "vic blurry" neni videt, ale to asi jde na vrub youtube kompresi, takze to beru, jak to rikas.

part 1) ohledne dukazniho bremene

"Naopak temporální fungování je pak něco extra nad tenhle základ, a tudíž by to potřebovalo nějakej doklad*."

Jenze dukazni bremeno je na tom, kdo neco tvrdi. Ja cituju prezentace Huanga. Moc dobre vis, ze on v keynote o temporaly stable network mluvi. Moc dobre vis, ze mluvi o DLSS jako o autoencoderu. Ja odkazuju na neco konkretniho. Ty tvrdis, ze to je marketing. Budiz. Ale dukazni bremeno je tim padem na tobe. Kde mas nejaky dukaz, ze je to jen marketingova omacka, ktera nema s realitou nic spolecnyho?

Ty taky tvrdis, ze DLSS neni temporalni, ze je to jen jakejsi spatial filter a upscaler. Opet to je tvoje tvrzeni, proti kterymu stoji fakta - treba ta F1, nebo technika, o ktery mluvi Nvidia v blogu. Pokud tvrdis, ze to je jen spatial filter a ne temporalni sit, a ze to neni autoencoder, ale jen bezny upscaler, na zaklade ceho? Dukazni bremeno je opet na tobe - mel bys dokazat, ze zdroje z Nvidie jsou opravdu jen marketing a dokazat, ze to je jen spatial filter a jen upscaler. Co ja vim, treba Nvidia nevi, co rika. Treba zazracne netusi, jak jejich vlastni technologie funguje a ty jo. Ale na zaklade ceho to tvrdis? A nech si nejaky pohadky o rece. Tady je zcela jasny, kdo musi co dokazovat.

Nestaci to jen tvrdit. A neni mozny selektivne si vybirat, kdo ma co dokazovat.

part 2) ohledne samplu
“DLSS allows faster rendering *at a lower input sample count*, and then infers a result that at target resolution ”

Co je to inference u neuralni site prece vis. Tak proc predstiras, ze to v ty vete jako neni? Inference pouzije jednak externi vstupy (to jsou ty lower input sample count) a pak vyuzije informaci, obsazenych v te samotne siti (neboli co se naucila). To je ta super-sampling cast. Porad mi neni jasny, co na tom nechapes. Matematickej upscaling pracuje jen se vstupnima datama. DLSS pracuje jak se vstupem, tak se znalostma ty site o danym prostredi (proto se taky trenuje pro kazdou hru specificky).

Neboli kdyz pred tebe dam roztrhany kusy americky vlajky (nebo treba cesky, to je fuk), dokazes zbytek dokreslit. Vstupy pro celou vlajku nemas. Ale videl si ji tisickrat v ruznejch verzich - pouzijes svoje nauceny znalosti.

"Kromě toho to dokázalo v podstatě všechno – to, jak to vizuálně funguje ve hrách a ani Nvidia to nijak nezastírá, jak už se tu diskutovalo, takž tady se fakt jenom kroutíš, že ti hanba není."
Jako co bylo dokazany ve hrach? Ze kdyz to nasadi predcasne a ta sit neni poradne natrenovana, ze to vypada hnusne? Naopak treba zrovna u Metra byl krasnej priklad toho, jak kdyz se sit delsi dobu trenuje, dosahne mnohem lepsich vysledku - viz ta prvni verze DLSS v Metru, ktera byla dost rozmazana a pak ta novejsi, ktera uz funguje dost slusne, lip nez TAA treba. Nejak tomu nerozumim, co tim chces rict.

Ja sem pro, abychom sepsali nejaky otazky a kdyz to Adam Vagner dokaze dostat pres Stanka, sem s tim. Vubec se toho nebojim. Aspon to budeme vedet jiste. Vymlouvat se na to, ze to zas bude nejaka marketingova omacka vyzniva dost jako ze si pripravujes unikovou cestu. Tak bud si si jistej tim co tvrdis, protoze to trvrdis dost vehementne (vsak v kolika clancich jsi mluvil o DLSS zcela schvalne pejorativne jako o upscaleru a spatial filtru), nebo si jistej nejsi, pak ale nechapu ten zeal, se kterym ty clanky a posty pises.

Mail odeslan.

Já beru jako hlavní pramen ne casual marekting, ale whitepaper, v kterým to je popsaný. Ten s tebou nesouhlasí, ať to překrucuješ jak chceš a okecáváš jak dlouhým příspěvkem chceš.

F1 je novější než ten whitepaper, a už jsem výš napsal/uznal, že tam to temporální je. Ale to neplatí pro ty hry a implementace, o kterých píše ten whitepaper a kterých jsme se bavili mnohokrát předtím.

"Co je to inference u neuralni site prece vis. Tak proc predstiras, ze to v ty vete jako neni? "

Protože fakt není.

"Inference pouzije jednak externi vstupy (to jsou ty lower input sample count) a pak vyuzije informaci, obsazenych v te samotne siti (neboli co se naucila)."

Ano, popsal si upscaling pomocí neuronální sítě. To, že se používá neuronální síť, na věci nic nemění. V té neuronální síti nejsou bezeztrátově uložené snímky v nižším rozlišení, jen natrénovaný interpoátor, který provádí UPSCALING určitým způsobem. Koho tu chceš oblbovat?

Plácáš úplný irelevantní nesmysly, já o koze on o voze atd. Myslím, že ti to zase začnu mazat, protože to je irelevantní spam, kterej se tváří jako vyvracení mýho příspěvku, a já kvůli tomu musím reagovat, ale přitom je to úplně prázdná blbost, která nedává smysl. A debata půjde zase kolem dokola, furt budeš postovat čím dál větší blbiny skákat sem a tam, a nikdy neuznáš, že se můžeš (a tady to IMHO fakt nastalo) mýlit. A kvůli tomuhle jsem vzhůru skoro ve tři ráno, ježkovy zraky.

"Protože fakt není."
“DLSS allows faster rendering at a lower input sample count, and then *INFERS* a result that at target resolution ”

"V té neuronální síti nejsou bezeztrátově uložené snímky v nižším rozlišení"
To mi vkladas do pusy, ale nic takovyho jsem nikdy netvrdil. Jak funguje autoencoder, ze se uci features, jsem tu psal uz mockrat.

Vzhledem k tomu, ze vyhrozujes mazanim, tak se podme domluvit, jak Adam Vagner navrhnul, a zkusime poslat otazky Igoru Stankovi. At to dopadne tak nebo onak, bude to dobrej material pro clanek, ne snad? Ty se me zbavis, budeme vedet jak to je - pohoda :) Ja se pokusim Adama kontaktovat kazdopadne, at uz se chces pridat nebo ne, protoze mi to prijde jako dobrej napad. Je to na tobe.

Asi jo, ale zase se trochu bojím, že bych taky dostal takový ty vágní opisy jako mají v těch tiskovkách, a nebyl bych o moc blíž.