使用WebCodecs与FFmpeg编码封装音频流问题排查

问题根源：缺失MP4容器必需的音频配置头部（ASC） #

你当前给AudioEncoder指定了aac: { format: 'adts' }，ADTS是AAC裸流的独立头部格式，适合单独播放，但MP4容器不需要ADTS头，反而需要Audio Specific Configuration（ASC）——这是一段包含采样率、声道数等核心参数的二进制元数据，解码器必须靠它才能正确解析音频流。你的流程里完全没处理这个关键信息，导致FFmpeg无法识别音频流的格式。

分步修复 #

1. 调整AudioEncoder配置，输出兼容MP4的AAC格式 #

删掉ADTS格式配置，让编码器输出不带ADTS头的原始AAC帧，同时捕获编码器生成的ASC配置：

const encoderConfig = {
    bitrate: 192000,
    sampleRate: 44100,
    numberOfChannels: 2,
    codec: 'mp4a.40.2',
    // 移除aac.format: 'adts'，默认输出无ADTS头的AAC帧
};
this.encoder.configure(encoderConfig as any);

// 监听codecconfig事件，保存ASC配置数据
this.encoder.addEventListener('codecconfig', (event) => {
    this.audioConfig = event.data; // 这个二进制数据必须传给FFmpeg
});

2. 校验AudioData参数的正确性 #

• 确认mixed是双声道交错的f32数据（左声道样本→右声道样本→左→右...的顺序），如果是planar格式（左声道所有样本在前，右声道在后），会导致编码后音频异常。
• timestamp必须是微秒单位，如果你的时间戳是毫秒，记得乘以1000，否则会出现音视频不同步。

3. 给FFmpeg传递完整的音频数据 #

把你保存的audioConfig（ASC）放在所有编码后的音频帧最前面，再一起传给FFmpeg的音频输入。修改你之前的转换方法：

private convertChunksToUint8Array(chunks: EncodedAudioChunk[], config: ArrayBuffer): Uint8Array {
    const configSize = config.byteLength;
    const chunksSize = chunks.reduce((acc, chunk) => acc + chunk.byteLength, 0);
    const totalSize = configSize + chunksSize;
    
    const view = new Uint8Array(totalSize);
    // 先写入ASC配置
    view.set(new Uint8Array(config), 0);
    
    let offset = configSize;
    chunks.forEach((chunk) => {
        chunk.copyTo(view.subarray(offset, offset + chunk.byteLength));
        offset += chunk.byteLength;
    });
    return view;
}

4. 调整FFmpeg命令适配输入格式 #

如果用管道传递音频，指定输入格式为aac（带ASC头后FFmpeg能自动识别参数）：

# 示例：视频、音频均从管道输入，封装为MP4
ffmpeg -f rawvideo -pix_fmt yuv420p -s [你的分辨率] -r [帧率] -i - \
       -f aac -i - \
       -c:v copy -c:a copy output.mp4

额外排查点 #

• 查看FFmpeg控制台输出，如果出现Invalid audio stream或Could not find codec parameters，基本就是ASC缺失的问题。
• 确认EncodedAudioChunk的timestamp和视频帧的时间戳单位一致，且时间线对齐，避免后续音视频不同步。

内容的提问来源于stack exchange，提问作者Dániel Barta