如何使用FFmpeg将OpenCV原始帧与麦克风音频流同步合成转播？

核心问题在于AI处理的不稳定延迟会打乱原始视频帧的时间轴，必须保留原始帧的PTS并传递给FFmpeg，同时让音频流遵循原始时间戳，才能实现精准同步。以下是具体实现步骤和代码示例：

1. 原始流捕获与PTS记录 #

不管是RTMP流还是摄像头输入，首先要分离音视频流，并为每一帧视频记录**原始显示时间戳（PTS）**和对应的时间基（Time Base）：

• 视频流：捕获帧时，直接读取FFmpeg/PyAV返回的帧PTS值，不要丢弃或重新生成
• 音频流：同样保留原始音频帧的PTS，确保音视频时间轴同源

2. AI处理时绑定PTS与帧 #

处理视频帧时，将原始PTS与帧数据绑定（比如用元组、自定义类存储），不管AI推理耗时多久，这个PTS始终不变。示例代码：

import av

# 打开输入流（摄像头/RTMP）
input_container = av.open("/dev/video0" or "rtmp://your-source-url")
video_stream = input_container.streams.video[0]
audio_stream = input_container.streams.audio[0]

for packet in input_container.demux():
    if packet.stream.type == 'video':
        for frame in packet.decode():
            # 记录原始PTS和时间基
            original_pts = frame.pts
            time_base = video_stream.time_base
            
            # AI处理帧（叠加比分、图层）
            processed_frame = your_ai_processing_func(frame.to_ndarray(format='bgr24'))
            
            # 绑定PTS和处理后的帧，加入队列
            video_queue.put((processed_frame, original_pts, time_base))
    elif packet.stream.type == 'audio':
        # 音频直接加入队列，保留原始PTS
        audio_queue.put(packet)

3. 手动设置PTS并喂给FFmpeg #

处理后的帧传递给FFmpeg时，必须手动设置AVFrame的pts字段，并匹配正确的时间基，禁止让FFmpeg自动生成PTS（否则会导致同步错乱）：

# 打开输出流（RTMP/本地文件）
output_container = av.open("rtmp://your-push-url", mode='w')
output_video_stream = output_container.add_stream('h264', rate=video_stream.rate)
output_video_stream.time_base = video_stream.time_base  # 对齐时间基
output_audio_stream = output_container.add_stream('aac', rate=audio_stream.rate)
output_audio_stream.time_base = audio_stream.time_base

while True:
    # 从队列取处理后的视频帧
    processed_frame, original_pts, time_base = video_queue.get()
    
    # 将处理后的图像转为AVFrame
    av_frame = av.VideoFrame.from_ndarray(processed_frame, format='bgr24')
    # 转换PTS到输出流时间基（如果输入输出时间基不同）
    av_frame.pts = av.util.rescale_q(original_pts, time_base, output_video_stream.time_base)
    
    # 编码并写入输出流
    for packet in output_video_stream.encode(av_frame):
        output_container.mux(packet)
    
    # 处理音频，直接复用原始包
    audio_packet = audio_queue.get()
    output_container.mux(audio_packet)

4. 关键注意事项 #

• 时间基对齐：输入和输出流的时间基尽量保持一致，避免PTS转换错误，可用av.util.rescale_q完成不同时间基间的PTS转换
• 队列缓存：设置合理大小的视频队列，应对AI处理的峰值延迟；音频可设置300-500ms的缓存，避免因视频短暂延迟导致音频卡顿
• 丢帧策略（可选）：如果队列溢出，可选择丢弃最早的未处理帧，但需确保丢弃的帧PTS连续，避免时间轴断裂
• 同步验证：用FFmpeg命令ffmpeg -i output_stream -vf showinfo查看输出流的PTS是否与原始流一致，确认同步效果

内容的提问来源于stack exchange，提问作者Abhishek Vats