Mám za to, že ffmpeg NVENC podporuje. Příjde mi logické, že projekt jako Handbrake (patrně s omezenými zdroji?) omezí podporu jen na některé technologie.
http://www.monitos.cz/tmp/ffmpeg_nvenc.png
http://www.monitos.cz/tmp/ffmpeg_qsv.png
http://www.monitos.cz/tmp/ffmpeg_x264.png
Smůla. Hevc_nvenc je dostupný asi na GTX965M a vyšších, v desktopu asi již od GTX950.
http://www.monitos.cz/tmp/ffmpeg_hevc_nvenc.png (test na GTX960).