Názory k článku Chcete doma vlastní AI? Nvidia uvádí chatbot, který se dá snadno pustit na grafice GeForce

Super nápad, aj keď len ako technologické demo, ukázať kde budúcnosť smeruje a čo aktuálny hardware dokáže. Takéto "bokovka" projektíky sa mi veľmi páčia.
Škoda len že tie ich 16GB grafiky stoja 500€.
Som strašne zvedavý, ako AI integruje nový Windows, hlavne ak to bude vedieť bežať lokálne.

Super, len napr, keď mám AMDe grafiku som asi v pjerdeli aj keď mám mrte VRAM :(
AMD haló, toto poriadne skopíruj :)

https://gpt4all.io/

Není zač.

Samozřejmě, že bude horší, než GPT3.5. Žádná domácí grafika 175B model nerozjede a dát dohromady její dataset by se také do 100GB co to má nevešlo.

Jinak LLM frontendů existuje už taková řada, že nevidím význam vytvářet nějaký s RTX brandingem.

Tak jsem to schválně vyzkoušel. A abych měl full newbie experience, použil jsem jejich setup klienta.

Výhody tohoto frontendu:

1) Stáhnete, nainstalujete, jedete
2) ...
...
...

A to je asi tak vše. I jejich instalačka je hrozná. Obsahuje jak Minstal, tak Llamu bez optání, co přesně chcete, kvantizuje na 4bit NA CPU. To si dělají prdel ne? Promují jejich RTX grafiky a fakt to kvantizují na CPU? Jakože cože? :D

Co se kvality samotného LLM týče, je to velice podprůměrné. Někdo u nVidie dostal domácí úkol na víkend, tak to zbastlil v gradiu a hurá, RTX mají vlastního AI chatbota holy shit, toto ještě nikdo neviděl! Úplná novinka na trhu! A všichni píšou kopu článků, hurá!

Pokud Vám jde o RAG, tak Verba je mnohem lepší. Pokud vám o vlastní datasety nejde, je zde kopa jiných mnohem víc powerfull frontendů.

Moc jsem toho nečekal, ale od nVidie jsem čekal o dost více. Za mě fail.

A cnews by si také mohlo něco přečíst než bude psát články senzací.

Jde to použít na to, aby to za mě přečetlo všechny zákony, vyhlášky, nařízení, normy, doporučení,....?