Только nvenc это не cuda, это совершенно отдельный блок на плате. Точнее будет сказать, что из куды есть доступ к nvenc через апи (cuvid) и в частности при использовании cuda-фильтров (не нужно их использовать) на кадры, загруженные в память, можно натравить nvenc напрямую без кудовской cuvud прослойки. FFmpeg без проблем поддерживает все эти cuvid и nvenc, нужно только собрать его с проприетарным тулчейном (ffmpeg с дефолтным llvm-based cuda у меня так и не заработал).