ChatGPT a umělá inteligence, s kterou se dá „konverzovat“ a klást jí otázky a úkoly, se stala hitem posledních let a přinesla velký úspěch Nvidii. Ta teď něco takového poskytne uživatelům herních grafik GeForce jako lokálně instalovanou aplikaci. Její „Chat with RTX“ používá Large Language Model AI k hledání informací ve vašich osobních souborech nebo třeba videích na YouTube. A rozběháte ho snadno a rychle, což je obvykle u AI značná bariéra.
Nvidia oznámila tuto aplikaci včera, nazvaná je Nvidia Chat with RTX a firma ji označuje jako technologické demo. Už se ale dá stáhnout, běží na Windows 11 (viz odkaz pod článkem). Chat with RTX používá neuronovou síť typu Large Language Model s technikou retrieval-augmented generation. Jde asi o model méně „velký“ než používaný na serverech, i kvůli omezení hardwarových prostředků. Chat with RTX má totiž běžet čistě lokálně (takže by aspoň teoreticky vaše dotazy měly zůstat privátní). Software je nainstalovaný jako aplikace, jeho data jsou na vašem disku a běží na vašem GPU, i když může informace lovit i z internetu.
TechPowerUp už stihl toto demo vyzkoušet, takže se můžete podívat na jeho recenzi.
Ušetřete čas, nekoukejte na videa
Aplikace používá webové rozhraní a má základní dataset (údajně horší či menší než ChatGPT 3.5 a pocházející z roku 2022), takže dokáže konverzovat „out of the box“. Ale důležitější funkcí by měla být možnost používat váš vlastní dataset. Tím mohou být vaše textové dokumenty (MS Word, PDF) a videa. Aplikace si pak nad nimi AI natrénuje a bude schopná (nějak) odpovídat na dotazy týkající se informací v těchto souborech, přičemž spolu s odpovědí by měla ukazovat, kde ve svém digitálním nepořádku můžete relevantní data nalézt.
Pokud vás nebaví prokousávat se mnohaminutovými youtuberskými opusy, abyste zjistili, co konkrétního se v daném videu vlastně někde uprostřed říká, může být užitečná schopnost tohoto chatbotu analyzovat videa na YouTube, když zadáte konkrétní URL. Můžete se pak ptát na informace, které by ve videu měly být obsažené. Jako obvykle je tu asi určitá šance, že se AI splete (ale vypadá při tom suverénně).
Nvidia Chat with RTX
Podle TechPowerUpu aplikace neumí ve skutečnosti najít informace ve zvukové stopě nebo přímo v obrazu, analyzuje stopu s closed-caption titulky (které jsou určené primárně pro neslyšící) a odpovědi, které o videu dostanete, tedy vychází jen z těchto titulků. Ty bývají generovány automaticky s možnými chybami, kterými pak AI bude ovlivněné. Touto cestou nicméně má aplikace zhruba přístup k informacím vyřčeným v audiu. Ovšem pokud je na videu něco ve vizuální formě (například leaknutý slajd v nějakém videu technologických youtuberů), Chat with RTX se k takovým informacím nedostane.
Funkce této aplikace jsou relativně základní, ale má tu výhodu, že je poměrně snadné ji rozběhnout. Obvykle přitom AI modely vzhledem ke svému serverovém cílení nejsou zrovna „BFU-friendly“, pokud si je chcete spouštět lokálně doma (zajímavější než chatbot by ale možná bylo něco jako offline Dalle-3, s generováním obrázků je víc legrace).
GeForce RTX 3000 a 4000, zatím ne starší karty
Podle TechPowerUpu je k instalaci třeba asi 100 GB prostoru na SSD (HDD vede ke špatnému výkonu), instalátor totiž zabírá asi 31 GB a po instalaci sama aplikace potřebuje 69 GB v případě instalace obou dostupných AI modelů.
Pro provoz potřebujete aspoň 16 GB RAM, operační systém Windows 11 a grafiku GeForce RTX s minimálně 8GB pamětí. Nicméně optimální kapacita grafické paměti je spíše 16 GB, protože až s ní lze použít oba AI modely – Llama2 vyžaduje aspoň 16 GB, na kartách s 8 GB, 10 GB nebo 12 GB paměti je dostupný jenom menší model Mistral. Údajně lze toto omezení přebít v konfiguračním souboru, ale je otázka, jak dobře bude model v menší paměti fungovat. Když je aplikace Chat with RTX aktivní, je model nahraný v paměti GPU, takže moc nepůjde mít ji puštěnou současně s nějakou hrou.
Aplikace má zatím jedno omezení – vedle toho, že samozřejmě potřebujete grafiku Nvidia a aktuální ovladače (pod Windows 11, pro Linux zatím asi toto demo není), také potřebujete novější model GPU. GeForce řady RTX 2000 přinejmenším zatím podporované nejsou. Je třeba grafika s architekturou Ampere nebo Ada Lovelace, čili řada RTX 3000 a novější. Současně je tu ale onen limit, že musí mít minimálně 8 GB paměti, takže například nejnovější úsporná GeForce RTX 3050 6GB má pech.
Zdroje: Nvidia, TechPowerUp
ČLÁNKY DO MAILU