V>Пробовал через FFMPEG (avcodec_find_encoder_by_name("h264_qsv")) — на одном компе определяет, на другом нет.

Именно так и надо. Если доступно и правильно настроено – оно там и будет. Тут зависит от нескольких вещей:
— как и с какими флагами собирался FFmpeg
— что есть в наличии на таргет машине: поколение процессора, драйвера, АПИ для доступа к нему, ОСь

Подробнее советую почитать тут: https://trac.ffmpeg.org/wiki/HWAccelIntro

А здесь – подробнее про нюансы драйверов и АПИ к QSV, через которые работает FFmpeg – https://trac.ffmpeg.org/wiki/Hardware/QuickSync

Ну и можно проверить командой FFmpeg CLI:

ffmpeg -codecs | grep 264

Ну либо без грепа или как там под Виндой.

В скобках будут указаны доступные реализации. Например, у меня:

 DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (encoders: libx264 libx264rgb h264_videotoolbox)

Ну и ессно в зависимости от машины и что на ней и как установлено/настроено – будут разные доступные енкодеры.

Upd а кроме как в этой реализации обертки нигде такого названия как h264_qsv и нет https://github.com/FFmpeg/FFmpeg/blob/master/libavcodec/qsvenc_h264.c#L193