„AI“ potlačení šumu pro hlasovou komunikaci běžící na tensor jádrech
Nvidia uvádí, že na aplikaci RTX Voice už nějakou chvíli pracuje, nyní ale vzhledem k aktuální potřebě zveřejnila její vývojovou verzi. Nejde tedy zatím o hotový software, momentálně je označený jako Beta. Můžete ho ale stahovat, instalovat a zkoušet (a to zadarmo, podle všeho). Stáhnout se beta verze dá odsuď. Potřebujete k ní ještě ovladač 410.18 a Windows 10.
RTX Voice implementuje filtr který odstraňuje šum ze zvuku, přičemž by měl být založený na neuronové síti, nejspíš natrénované na korpusu nahrávek hlasů tak, aby propustil frekvence lidského hlasu a potlačil zbytek. Nemusí to samozřejmě být úplně dokonalé, ale při hlasové komunikaci se tolik nehledí na věrnost, jako na srozumitelnost, takže když se omezí či vymaže rušení na pozadí, může i poněkud zdeformovaný hlas být mnohem lepší pro porozumění. RTX Voice dovoluje tento filtr použít jak pro zvuk snímaný z mikrofonu, který posíláte ostatním, tak jako postprocessing pro zvuk od ostatních, který přes komunikační software přijímáte. Nvidia doporučuje potlačení hluku používat hlavně pro vlastní mikrofon (pokud máte s okolním hlukem problém) a aplikaci na reprodukovaný zvuk zapnout jen podle potřeby.
Aplikace zřejmě používá tensor jádra v grafikách Nvidia, takže pro její provoz potřebujete mít kartu GeForce RTX 2000 (GTX 1600 nestačí) nebo Quadro RTX. Funguje jako plugin, který dokáže fungovat s existujícími softwary. To je dosaženo tak, že do systému nainstaluje vlastní virtuální zvuková zařízení, která zpracovávají běžný zvuk z mikrofonu (a/nebo zvuk určený pro reprodukci), aplikují na něj svoje filtrování, a výsledek pak zpřístupňují přes své vlastní virtuální zvukové zařízení, které se v systému ukazuje jako „Nvidia RTX Voice“.
Nvidia RTX Voice: virtuální zvukové zařízení v systémuIntegraci do videokonferenčního nebo jiného softwaru pracujícího s hlasem uděláte jednoduše tak, že v něm změníte používané zvukové zařízení z toho výchozího na virtuální zařízení Nvidia RTX Voice, které aplikace od Nvidie nainstalovala. Návod má Nvidia zde.
Nvidia RTX Voice ve Skype: stačí změnit zvuková zařízení na Nvidia RTX VoicePodle Nvidie funguje RTX Voice se streamovacími aplikacemi jako OBS Studio, XSplit Broadaster a XSplit Gamecaster, Twitch Studio, Discord (takže je vidět, že mimo pracovní telekonference se Nvidia zaměřila také na hráče exhibující na internetu, což ale asi nepřekvapuje). Z komunikačních možností pak jmenuje Google Chrome a nástroje Cisco WebEx, Skype, Zoom a Slack. Ovšem u těchto údajně může být problém při nastavení RTX Voice jako zařízení pro výstup (tedy při filtrování zvuku od ostatních). Je možné, že je to proto, že mají vlastní filtrování. Nvidia zmiňuje, že když se RTX Voice zkombinuje s dalším takovým filtrem, může už řeč být zfiltrována tak silně, že mizí některé slabiky. Je tedy doporučeno případně vypnout zabudované potlačování hluku, které na váš mikrofonní vstup už komunikační software defaultně aplikuje.
Aplikace oficiálně podporované s Nvidia RTX VoiceNvidia uvádí, že pomocí těchto virtuálních zařízení je možné software využít i pro offline odhlučňování i jiných zvukových (respektive asi hlavně hlasových) záznamů. Stačí audio přehrát v nějaké aplikaci a nahrát poté, co projde oním virtuálním zařízením RTX Voice.
Galerie: použití Nvidia RTX Voice ve streamovacích aplikacích a komunikaci
Aplikace je jak již bylo řečeno ve vývoji a Nvidia vyzývá uživatele, aby hlásili chyby a případně poskytli zpětnou vazbu. Ta spočívá v tom, že nahrajete 15 sekund svého mluvení a pak také vzorek hluku/šumu z okolí a poskytnete je Nvidii (tyto vzorky jsou pak asi přidávány do korpusu trénovacího materiálu). Odkazy na toto najdete na fóru Nvidie, kde se teď aplikace dá stáhnout.
Je podle vás GPU akcelerace filtru pro potlačení zvuku důležitá vlastnost?
Zdroj: Nvidia
