Je to poměrně nedávno, co Nvidia odhalila aplikaci Chat With RTX, která umožňuje snadno instalovat různé AI modely na desktopový počítač (nebo notebook) s Windows a pak je používat jako chatbot. Aplikace nabízí například vyhledávání v souborech na disku nebo hledání a sumarizaci videí v YouTube. Původně se uvádělo, že měla být hlavně demem, ale Nvidia do ní teď přidává další funkcionalitu a možná z ní chce postavit serióznější produkt.
Nvidia teď aplikaci vydala znovu pod jiným názvem – již jen jako ChatRTX. Jde ovšem o pokračování předchozí „Chat with RTX“, což údajně byla jakási preview verze, zatímco ChatRTX je o něco zralejší, už víc „na ostro vydaná“ aplikace. Ovšem pořád je považovaná za demo AI technologie.
Opět platí, že ChatRTX je lokální aplikace, takže neposíláte požadavky na cizí servery s nejasnostmi o tom, zda budou zaznamenávány a nějak analyzovány, nebo zda budou dostatečně anonymizovány a tak dále. Současně to dovoluje skenovat a analyzovat vaše lokální dokumenty, takže pak chatbot může zodpovídat na dotazy ohledně všeho možného, co ve vašich souborech může být (samozřejmě podle toho, jaké všechny dokumenty umí otevírat, samozřejmě, podporovaný je minimálně formát MS Wordu, PDF a prosté textové soubory).
Rozpoznávání hlasu
Tato nová verze ChatRTX podporuje nově zadávání otázek ve více jazycích (minimálně angličtině a čínštině) a také schopnost odpovídat v různých jazycích, a současně také podporuje rozpoznávání hlasu. To by snad mohlo být užitečné pro ono hledání na YouTube ve videu, kde předchozí verze používala jen stopy titulků.
Do aplikace se také dá nahrát více různých modelů, než bylo nabízeno předtím. Přibyl Mistral 7B INT4 a Llama 2 7B INT4 a také AI model od Googlu Gemma.
Aplikace Nvidia ChatRTX
Hledání obrázků
ChatRTX také teď nabízí funkci vyhledávání obrázků či fotografií na základě textových požadavků v adresářích na vašem disku, k čemuž používá umělou inteligenci CLIP (Contrastive Language-Image pre-Training) od OpenAI.
Na druhou stranu zůstávají omezení, jako je nemožnost upřesňovat nebo doplňovat dotazy, ChatRTX stále umí přijímat jen izolované jednotlivé otázky. Také nemá úplně nejlepší kompatibilitu s webovými prohlížeči (pro komunikaci totiž používá webové rozhraní), podle testu TechPowerUpu nefunguje s Firefoxem.
Aplikace ChatRTX funguje jenom s grafikami GeForce (což je logické vzhledem k tomu, že ji vyrábí Nvidia pro svá GPU). Ale nepodporuje je všechny, alespoň prozatím musíte mít minimálně nějakou kartu generace GeForce RTX 3000 nebo 4000, zatímco GPU s architekturou Volta a Turing podporovaná nejsou. Karta také musí mít minimálně 8 GB grafické paměti (avšak v předchozí verzi to neumožňovalo nahrání všech modelů, jen některých, část jich vyžadovala větší paměť). Aplikace zatím funguje jen na Windows, a nikoliv na Linuxu, v požadavcích je uvedeno rovnou Windows 11.
Zdroje: TechPowerUp, Nvidia
ČLÁNKY DO MAILU