Včera jsme psali o nové technologii DLSS 3 od Nvidie, které přidává k předchozím technologiím upscalingu her zvyšujícím výkon takříkajíc nový rozměr, když provádí pohybovou interpolaci v temporálním rozměru a generuje mezisnímky navíc k těm vyprodukovaným hrou. Toto umělé zvýšení FPS ale nebude využíváno jen ve hrách. Nvidia tuto funkci nabídne také pro zvyšování FPS u videa – při přehrávání, ale i při konverzích.
Když jsme včera popisovali principy DLSS 3 (článek najdete zde), bylo zmíněno, že generování nových snímků v DLSS 3 z jejich reálných sousedů je velmi blízké tomu, co již dlouho dělají televize. Označuje se to všelijak, například interpolace či vyhlazování pohybu (Motion Interpolation, Motion Smoothing). Televize tuto techniku používají ze stejného důvodu jako Nvidia: pro zvýšení snímkové frekvence a plynulejší pohyb, protože video a filmy používají dost nízkou obnovovací frekvenci (24 až 30 snímků za sekundu). Nicméně z toho televizního použití jsou také známé negativní dopady na obraz, což možná bude něco přítomného i u DLSS 3 (uvidíme v testech).
Nvidia Frame Rate Up Conversion (FRUC)
Je proto docela logické, že Nvidia nyní generování snímků přítomné v DLSS 3 neomezí pouze na hry, ale také bude na svých GPU nabízet funkci zvýšení snímkové frekvence videa tímto způsobem. Jmenuje se FRUC (Frame Rate Up Conversion) a je součástí technologie Optical Flow SDK 4.0.
Nvidia FRUC (Frame Rate Up Conversion) zvyšuje snímkovou frekvenci videa uměle generovanými snímky (zdroj: Nvidia)Technické pozadí je asi stejné – funkce používá jednotky Optical Flow Accelerator přítomné v Tensor jádrech akcelerujících AI, které hledají pohybové vektory ve videu a tuto informaci používají pro konstrukci umělého snímku, v němž je pohyb objektů a pozadí na půl cesty mezi dvěma po sobě jdoucími vstupními snímky videa.
Provádět tyto analýzy a generování výsledného snímku bude opět natrénovaná neuronová síť. Rozdíl proti DLSS 3 je v tom, že v tomto případě nemá filtr informace o pohybových vektorech ze hry, pracuje tedy jen s těmi, které sám odhalí analýzou snímků videa. Toto by asi mělo znamenat, že kvalita generování snímků typicky asi bude trochu horší, s větší náchylností k artefaktům, různým deformacím, protože ne u všech pixelů snímku asi neuronová síť bude vědět, co s nimi. Generování nových snímků nevyhnutně naráží na problém, že ne všechna informace je dostupná, takto odhadnutý snímek logicky nemůže mít stejnou kvalitu a věrnost jako hypotetický reálný.
Interpolovaný snímek složený technikou Optical Flow ze dvou sousedních reálných snímků; ještě s mezerami, které je třeba vyplnit (zdroj: Nvidia)FRUC lze použít ke zvýšení snímkové frekvence videa (a tím zvýšení jeho pocitové plynulosti, ale dalším možným využitím je také vyrobení zpomaleného záběru). Použít se to bude dát buď při přehrávání videa, nebo samozřejmě také během jeho komprese či konverze, pokud takto chcete své video „vylepšit“ (pro někoho to vylepšení je, nicméně puristé mívají někdy výhrady).
Nvidia tento filtr bude nabízet ve svém SDK, a tudíž ho budou moci programátoři přidat do přehrávačů videa a konverzních aplikací typu FFmpeg, a to jak na Windows, tak na Linuxu. Integrace by neměla být nějak těžká, filtr totiž toliko potřebuje video jako vstup a zpracovává si ho již sám (program jen musí očekávat, že dostane jako výstup více snímků, než má vstup). Tuto možnost tedy asi nebudete mít automaticky po nainstalování ovladačů, bude třeba, aby pro ni přidala podporu aplikace, kterou pro sledování nebo úpravu videa používáte.
Stejně jako u DLSS 3 je možné, že dostupnost technologie FRUC bude omezená jen na novou generaci grafik Ada Lovelace (GeForce RTX 4000). Starší GPU mají taktéž Optical Flow Acceleratory, ale méně pokročilé a výkonné. Asi je nějaká šance, že se Nvidii podaří neuronovou síť vyladit tak, že nakonec půjde použít na GeForce RTX 2000, nebo aspoň RTX 3000. Na druhou stranu ale také firma může mít zájem z této funkce udělat exkluzivní lákadlo jen pro nové grafiky. Pokud je to tak, asi se takový „backport“ neobjeví.
Zdroje: TechPowerUp, Nvidia
ČLÁNKY DO MAILU