Jo, v víceméně to tak je (jen jestli má x264/x265 hard limit na 128 vláken, to nevím, nikdy jsem o tom neslyšel a už 2S broadwell-EP by na to narazil).
Ten threading ubírá na kvalitě kvůli tomu, že se nedá tak efektivně využít inter-predikce. Postih závisí na metodě - slice nebo tile-threading (libvpx) je hodně špatnej, WPP threading (x265) by měl být méně zatíženej a frame threads (x264,x265) také, AFAIK by mělo jít o nejlepší metodu.