Качество требует жертв, да и внезапные глитчи не прикольно. Не так и плохо на самом деле. Это x264 в 1 поток (можно не в 1, но качество сразу проседает и 16 это верхний лимит для фуллхд). У x265 повыше лимит, при котором ощутимо деградирует качество. Фуллхд по-моему можно и на 4 кодировать, верхний лимит x265, как говорят, аналогично ~16, для 4к больше можно. Но зависит от параметров тоже.

А что до libvpx-vp9, то должен быть 2 проходный с -deadline best -speed 1 (вроде 4 можно на pass1) и качество выставлять через crf. Рекомендации гугла -tile-colums 2 на 720/1080 и -tile-colums-3 на 2/4к, но, я подозреваю, что для нормального качества тоже надо выставлять -tile-columns 1. По-моему, аналогичный параметр есть у x265, и у него такие же проблемы. И -threads у vpx тоже ограничивать надо наверно, но не имею понятия, когда проседает.