Názor k článku Chcete doma vlastní AI? Nvidia uvádí chatbot, který se dá snadno pustit na grafice GeForce od Salty Daddy - Tak jsem to schválně vyzkoušel. A abych měl...

Tak jsem to schválně vyzkoušel. A abych měl full newbie experience, použil jsem jejich setup klienta.

Výhody tohoto frontendu:

1) Stáhnete, nainstalujete, jedete
2) ...
...
...

A to je asi tak vše. I jejich instalačka je hrozná. Obsahuje jak Minstal, tak Llamu bez optání, co přesně chcete, kvantizuje na 4bit NA CPU. To si dělají prdel ne? Promují jejich RTX grafiky a fakt to kvantizují na CPU? Jakože cože? :D

Co se kvality samotného LLM týče, je to velice podprůměrné. Někdo u nVidie dostal domácí úkol na víkend, tak to zbastlil v gradiu a hurá, RTX mají vlastního AI chatbota holy shit, toto ještě nikdo neviděl! Úplná novinka na trhu! A všichni píšou kopu článků, hurá!

Pokud Vám jde o RAG, tak Verba je mnohem lepší. Pokud vám o vlastní datasety nejde, je zde kopa jiných mnohem víc powerfull frontendů.

Moc jsem toho nečekal, ale od nVidie jsem čekal o dost více. Za mě fail.

A cnews by si také mohlo něco přečíst než bude psát články senzací.