S grafikami GeForce RTX 3000 vydala Nvidia software Broadcast App nabízející filtrování zvukového vstupu a AI video efekty pro streamování a umožňující zapojit tyto efekty do různého softwaru na streamování her, zpracování videa nebo komunikaci. Broadcast App teď dostává novou verzi 1.3, které přidává podstatná vylepšení a opravy, například i v AI algoritmu odstraňujícího šum a hluk, který dřív občas vygumoval i regulérní řeč.
Nová verze Broadcast 1.3 je již stažení na stránkách Nvidie. Tato verze by měla vylepšovat podporu pro různé kamery, mikrofony a nahrávací karty – Nvidia jmenuje oficiální kompatibilitu s Canon EOS Webcam utility, Nikon Webcam Utility, OBS Virtual Camera a dalšími. Funkce Nvidia Broadcast App by také teď měly být již přímo zabudované do softwaru mikrofonů, kamer a headsetů od AverMedia (aplikace CamEngine, VoiceEngine).
Menší spotřeba grafické paměti
První z významných změn, které verze 1.3 přináší, je snížení hardwarových požadavků, díky kterému by Broadcast App měla mít menší dopad na běh zbytku počítače při práci. Mělo by se to týkat zvlášť případu, kdy používáte více efektů najednou. To aplikace povolila ve verzi 1.2, jenže filtry navíc konzumují videopaměť grafické karty a v případě, kdy jich bylo použito víc na vstup kamery a běželo i filtrování hlasu/zvuku (RTX Voice), tak výkon mohl trpět (asi i kvůli tomu, že karty GeForce mají až na 12GB GeForce RTX 3060 a pak RTX 3090 relativně menší kapacity paměti…).
Broadcast App 1.3 by v těchto případech měla výrazně pomoct. Optimalizace údajně snížily spotřebu paměti až o 40 %, takže by propad výkonu (zhoršení dosažených FPS) ve hrách měl být zmírněn.
Nvidia Broadcast App verze 1.3 (Zdroj: Nvidia)Opravená detekce hlasu
Druhé z funkčních zlepšení se týká kvality filtru RTX Voice, který je určen k vyčištění audio vstupu z mikrofonu od nežádoucího hluku z pozadí. To je užitečné pro streamování hráčů do internetu (takže se jim do produkce nedostávají hluky z domácnosti nebo zvenčí). RTX Voice pro tyto účely používá neuronovou síť natrénovanou na odebrání těchto šumů a hluků a ponechání lidské řeči, jde tedy o aplikaci umělé inteligence.
Nvidia Broadcast App (Zdroj: Nvidia)Dosavadní model této AI ale měl své mouchy. Bylo pozorováno, že s hlukem se někdy (mělo prý jít o vzácné případy) odstraní i řeč, která měla být zachována, takže mluvčí náhle vypadne. Typicky to údajně bylo tehdy, pokud se tón hlasu zvýšil, nebo člověk začal více křičet v emocionálně vypjatých herních momentech (ještě štěstí, že tyto pokročilé technologie neexistovaly za časů Leeroye Jenkinse…).
V Broadcast App 1.3 by měly tyto problémy snad být opravené, model AI byl přetrénován s dalšími daty a snad by nyní už měl i v těchto situacích rozeznat hlas od hluku a šumu pozadí.
Také by ve verzi 1.3 ještě měly být provedeny nějaké další opravy chyb a uživatelského rozhraní, které ale už asi budou menšího nebo kosmetického rázu.
Používáte Nvidia Broadcast App?
Zdroj: techPowerUp
