FFmpeg硬件加速解码自动回退至软件解码问题求助

核心问题 #

你当前代码使用的是软件解码器（比如VP9的默认软件解码器），这类解码器本身不支持通过AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX方式启用硬件加速。只有使用对应编码格式的硬件专用解码器（如vp9_cuvid、h264_cuvid、vp9_qsv等），才能触发GPU解码。

解决方案 #

修改解码器查找逻辑：优先为当前视频流的编码格式匹配对应的硬件加速解码器，而不是先获取软件解码器再尝试绑定硬件上下文。

代码修改示例 #

替换你现有代码中获取vidCodec的逻辑，改为以下流程：

AVCodec vidCodec = null;
int codecId = video_st.codecpar().codec_id();
boolean flag = false;
int type = AV_HWDEVICE_TYPE_NONE;
int hw_pix_fmt = AV_PIX_FMT_NONE;

// 遍历所有可用硬件设备类型，查找适配的硬件解码器
ArrayList<String> deviceTypes = new ArrayList<>();
int tempType = AV_HWDEVICE_TYPE_NONE;
while ((tempType = av_hwdevice_iterate_types(tempType)) != AV_HWDEVICE_TYPE_NONE) {
    BytePointer p = av_hwdevice_get_type_name(tempType);
    deviceTypes.add(CString(p));
}

for (String deviceName : deviceTypes) {
    int hwDeviceType = av_hwdevice_find_type_by_name(deviceName);
    // 遍历所有解码器，找到支持当前编码格式+硬件加速的解码器
    AVCodec candidate = null;
    while ((candidate = av_codec_next(candidate)) != null) {
        if (candidate.id() != codecId) continue;
        // 检查该解码器是否支持当前硬件设备的HW_DEVICE_CTX加速方式
        for (int i = 0; ; i++) {
            AVCodecHWConfig config = avcodec_get_hw_config(candidate, i);
            if (config == null) break;
            if ((config.methods() & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX) != 0 
                && config.device_type() == hwDeviceType) {
                vidCodec = candidate;
                hw_pix_fmt = config.pix_fmt();
                type = hwDeviceType;
                flag = true;
                break;
            }
        }
        if (flag) break;
    }
    if (flag) break;
}

// 未找到硬件解码器时，回退到软件解码器
if (vidCodec == null) {
    vidCodec = avcodec_find_decoder(codecId);
    System.out.println("Falling back to software decoder: " + vidCodec.name());
} else {
    System.out.println("Using hardware decoder: " + vidCodec.name() + " for device " + av_hwdevice_get_type_name(type));
}

额外注意事项 #

1. FFmpeg编译依赖：确保你的FFmpeg库编译时包含了对应硬件加速的组件（如NVIDIA的cuvid、Intel的qsv、AMD的amf），否则硬件解码器不会被编译到库中，无法被查找。
2. 硬件设备创建检查：确认av_hwdevice_ctx_create调用成功，若失败会自动回退到软件解码，需打印错误信息排查硬件设备是否正常识别。
3. 回调逻辑验证：你现有的get_format回调逻辑是正确的，但需确保hw_pix_fmt是当前硬件解码器支持的格式，否则会触发错误。

内容的提问来源于stack exchange，提问作者iexav