Flutter中如何实现录制视频时同步合并音频并存储为完整视频文件

依赖选型 #

优先选成熟的音视频处理库，避免重复开发原生逻辑：

• 视频录制用官方camera包，或者封装度更高的record_mp4，输出标准化H.264编码视频、AAC编码原生音轨
• 音视频合成用ffmpeg_kit_flutter，全平台支持复杂的音轨混合、封装操作

两种实现路径 #

路径1：录制完成后一次性合成（开发成本最低，兼容性最好） #

适合不需要录制时实时预览混合音效果的场景，步骤如下：

1. 预加载目标歌曲音频，获取时长、采样率、声道参数
2. 正常调用录制接口录制完整视频，同步记录视频总时长
3. 录制结束后调用FFmpeg命令，将视频原生音轨与背景音按比例混合，封装为最终视频文件
   参考FFmpeg命令：

ffmpeg -i 录制的原视频路径.mp4 -i 目标歌曲路径.mp3 -filter_complex "[0:a]volume=1.0[a1];[1:a]volume=0.7[a2];[a1][a2]amix=inputs=2:duration=shortest[aout]" -map 0:v -map "[aout]" -c:v copy -c:a aac -y 最终输出路径.mp4

参数说明：

• volume参数分别控制原生录音和背景音的音量比例，可根据业务需求调整
• duration=shortest自动按较短的内容时长截断，避免出现空音频或黑帧
• -c:v copy直接复用原视频的编码，不需要重新渲染视频，大幅提升合成速度

路径2：录制时实时合成（适合需要同步预览混合音的场景） #

适合类似Reels录制时用户可以同时听到背景音和自己录音的场景，步骤如下：

1. 录制前先把背景音解码到内存，按录制帧率拆分对应时间切片
2. 录制时每生成1-2秒的视频分片，立刻调用FFmpeg将分片的原生音轨和对应时间的背景音切片混合，替换分片音轨
3. 全部录制完成后，将所有处理好的视频分片拼接为完整视频
   参考分片合成命令：

ffmpeg -i 视频分片路径.mp4 -i 对应时间的背景音切片.aac -filter_complex "[0:a][1:a]amix=inputs=2:duration=shortest[a]" -map 0:v -map "[a]" -c:v copy 处理后分片路径.mp4

常见问题处理 #

• 音画不同步：合成时添加-async 1参数自动校正音轨时间偏移，录制时开启摄像头的时间戳对齐配置
• 权限问题：提前申请相机、麦克风、存储读写权限，iOS在Info.plist添加对应权限描述，安卓在AndroidManifest声明权限
• 性能问题：合成操作放在后台Isolate执行，避免阻塞UI线程，中低端设备优先使用非实时合成方案

内容的提问来源于stack exchange，提问作者Manav Parikh