OpenCV帧经Kafka消费后送入FFmpeg生成不可播放视频问题咨询

核心损坏原因 #

• 你当前使用的mpeg4编码封装为MP4时，默认未指定兼容播放器的像素格式，绝大多数播放器不支持直接封装bgr24格式的流
• 资源释放逻辑存在时序错误，ffmpeg进程的收尾操作放在了finally代码块外，异常退出时ffmpeg无法正常写入MP4文件的索引头，导致文件损坏
• 写入帧数据后未主动刷新缓冲区，部分帧可能残留在内存中未送入ffmpeg进程

修复步骤 #

1. 调整ffmpeg命令参数 #

替换编码为兼容性更好的H.264，指定输出像素格式为通用的yuv420p，增加-movflags +faststart参数让生成的MP4文件支持边加载边播放，同时调整参数避免ffmpeg缓冲区积压：

command = [
    'ffmpeg',
    '-y',
    '-f', 'rawvideo',
    '-vcodec', 'rawvideo',
    '-s', dimension,
    '-pix_fmt', 'bgr24',
    '-r', fps,
    '-i', '-',
    '-an',
    '-vcodec', 'libx264',  # 替换为H.264编码，兼容性更强
    '-pix_fmt', 'yuv420p', # 转成播放器通用的像素格式
    '-b:v', '5000k',
    '-movflags', '+faststart', # 优化MP4头位置，支持流式播放
    '-bufsize', '5000k', # 匹配码率设置缓冲区，避免帧率波动导致异常
    output_file
]

2. 修正资源释放时序与写入逻辑 #

把ffmpeg进程的收尾逻辑移到finally块内，保证无论是否触发异常，都能让ffmpeg正常完成文件写入，同时替换弃用的tostring方法、增加缓冲区刷新逻辑：

proc = sp.Popen(command, stdin=sp.PIPE, stderr=sp.PIPE)

try:
    while True:
        msg = consumer.poll(1.0)
        if msg is None:
            continue
        if msg.error():
            print("Consumer error: {}".format(msg.error()))
            continue
        nparr = np.frombuffer(msg.value(), np.uint8)
        img = cv2.imdecode(nparr, cv2.IMREAD_COLOR)

        if img is not None:
            proc.stdin.write(img.tobytes()) # 替换已弃用的tostring方法
            proc.stdin.flush() # 主动刷新缓冲区，保证帧数据及时送入ffmpeg
except KeyboardInterrupt:
    print("Detected Keyboard Interrupt. Quitting...")
finally:
    consumer.close()
    # ffmpeg收尾逻辑移到finally内，保证异常场景下也可正常执行
    if not proc.stdin.closed:
        proc.stdin.close()
    if not proc.stderr.closed:
        proc.stderr.close()
    proc.wait()

3. 可选：直接推流不落盘 #

如果最终目标是推流到浏览器，不需要生成本地文件，可以直接修改ffmpeg的输出为HTTP-FLV、HLS切片或者WebRTC流，浏览器可以直接通过对应的播放器加载流地址播放，不需要依赖本地文件。

内容的提问来源于stack exchange，提问作者codebot