macOS Qt应用中FFmpeg获取音频编码参数不一致问题求助

问题背景 #

基于Windows/macOS的跨平台Qt应用，使用自行编译的FFmpeg 6.1.1（未依赖Qt提供的库）读取外接立体声麦克风时，出现平台差异问题：

• 独立运行FFmpeg最小复现代码：Windows和macOS均稳定获取音频流编码ID为AV_CODEC_ID_PCM_F32LE
• 集成到Qt应用后：Windows表现正常；macOS下多数情况编码ID为AV_CODEC_ID_PCM_S16LE，偶尔为AV_CODEC_ID_PCM_F32LE
• 编码格式异常的影响：使用AV_CODEC_ID_PCM_S16LE解码时，音频出现杂音且播放速度降至0.5倍；强制按AV_CODEC_ID_PCM_F32LE解码则恢复正常

问题原因 #

1. Qt与FFmpeg的音频设备资源冲突 #

Qt的音频子系统（即使未显式使用Qt Multimedia）可能在应用启动时提前初始化CoreAudio上下文，与FFmpeg争夺音频设备访问权限。macOS的CoreAudio框架在多进程/框架访问设备时，会自动协商降级到兼容性更高的PCM_S16LE格式，而独立运行FFmpeg时，会优先请求设备支持的最高精度格式PCM_F32LE。

2. FFmpeg设备参数未显式指定优先级 #

集成到Qt后，FFmpeg打开音频设备时未明确设置采样格式的优先选项，导致CoreAudio返回默认的兼容格式，而非设备支持的最优格式。

通用解决方案 #

1. 显式指定FFmpeg音频采集参数优先级 #

在打开音频设备前，通过AVDictionary设置采样格式、采样率、声道数的优先选项，引导FFmpeg请求最优格式：

AVDictionary* options = nullptr;
// 优先请求浮点采样格式（对应AV_CODEC_ID_PCM_F32LE）
av_dict_set(&options, "sample_fmt", "flt", 0);
// 指定采样率（可根据设备支持调整，设为0则自动匹配）
av_dict_set(&options, "sample_rate", "48000", 0);
// 指定声道数（立体声设为2）
av_dict_set(&options, "channels", "2", 0);

// 打开音频设备
int ret = avformat_open_input(&fmt_ctx, "default", nullptr, &options);
av_dict_free(&options);

2. 动态适配解码格式，统一处理逻辑 #

不硬编码解码格式，而是根据实际获取的编码ID初始化解码器，并通过FFmpeg的swr_convert统一转换为目标格式（如PCM_F32LE），保证后续处理逻辑通用：

AVStream* stream = fmt_ctx->streams[0];
AVCodec* codec = avcodec_find_decoder(stream->codecpar->codec_id);
AVCodecContext* codec_ctx = avcodec_alloc_context3(codec);
avcodec_parameters_to_context(codec_ctx, stream->codecpar);
avcodec_open2(codec_ctx, codec, nullptr);

// 初始化采样格式转换器（仅当需要转换时）
SwrContext* swr_ctx = nullptr;
if (codec_ctx->sample_fmt != AV_SAMPLE_FMT_FLT) {
    swr_ctx = swr_alloc_set_opts(nullptr,
                                av_get_default_channel_layout(2),
                                AV_SAMPLE_FMT_FLT,
                                codec_ctx->sample_rate,
                                av_get_default_channel_layout(codec_ctx->channels),
                                codec_ctx->sample_fmt,
                                codec_ctx->sample_rate,
                                0, nullptr);
    swr_init(swr_ctx);
}

// 解码与格式转换流程
AVPacket pkt = {0};
AVFrame* frame = av_frame_alloc();
while (av_read_frame(fmt_ctx, &pkt) >= 0) {
    if (avcodec_send_packet(codec_ctx, &pkt) == 0) {
        while (avcodec_receive_frame(codec_ctx, frame) == 0) {
            AVFrame* target_frame = frame;
            if (swr_ctx) {
                // 转换为F32LE格式
                target_frame = av_frame_alloc();
                target_frame->format = AV_SAMPLE_FMT_FLT;
                target_frame->channels = 2;
                target_frame->sample_rate = codec_ctx->sample_rate;
                av_frame_get_buffer(target_frame, 0);
                swr_convert(swr_ctx, target_frame->data, target_frame->nb_samples,
                           (const uint8_t**)frame->data, frame->nb_samples);
            }

            // 此处处理target_frame的音频数据（统一为F32LE格式）

            if (target_frame != frame) {
                av_frame_free(&target_frame);
            }
        }
    }
    av_packet_unref(&pkt);
}

// 清理资源
av_frame_free(&frame);
if (swr_ctx) swr_free(&swr_ctx);
avcodec_free_context(&codec_ctx);
avformat_close_input(&fmt_ctx);

3. 隔离Qt音频子系统的影响 #

• 如果未使用Qt Multimedia模块，在Qt项目配置文件（.pro）中明确禁用：QT -= multimedia，避免Qt自动初始化CoreAudio上下文。
• 若必须使用Qt Multimedia，延迟FFmpeg的音频设备初始化操作，待Qt音频组件完成初始化后再打开设备，确保设备参数协商一致。

内容的提问来源于stack exchange，提问作者Xavi