ffmpeg-python异步处理摄像头帧出现死锁，求最佳解决方法

你的死锁问题核心是ffmpeg的stderr缓冲区被占满，导致进程阻塞，再加上主进程同步读写stdin/stdout的逻辑，最终形成死锁。另外，stdin写入后没flush、OpenCV与ffmpeg的颜色格式不匹配也可能加剧问题。

核心解决步骤 #

• 实时读取stderr：ffmpeg会持续输出日志到stderr，若不读取，系统缓冲区满后ffmpeg会停止处理，主进程在stdout.read()时会无限等待，形成死锁。用后台线程持续读取即可。
• 写入stdin后立即flush：确保帧数据立刻传给ffmpeg，避免滞留在Python的输出缓冲区。
• 颜色格式转换：OpenCV读取的帧是BGR格式，而你指定ffmpeg输入为rgb24，必须转换，否则颜色错乱且可能导致ffmpeg处理异常。
• 校验输出字节数：避免因ffmpeg输出异常（如丢帧、滤镜尺寸变化）导致read()永远等待凑齐指定字节数。
• 可选：减少日志输出：添加-loglevel error参数，降低stderr的输出量，减轻线程压力。

修改后的完整代码 #

import cv2
import numpy as np
import ffmpeg
import threading

def read_stderr(process):
    # 后台线程持续读取stderr，防止缓冲区满
    while True:
        line = process.stderr.readline()
        if not line:
            break
        # 调试时可以取消注释查看日志
        # print(line.decode('utf-8'), end='')

def start_ffmpeg_process_async(width, height):
    return (
        ffmpeg
            .input('pipe:', format='rawvideo', pix_fmt='rgb24', s=f'{width}x{height}')
            .filter('<filter variables>')  # 替换为你的实际滤镜参数
            .output('pipe:', format='rawvideo', pix_fmt='rgb24')
            .global_args('-loglevel', 'error')  # 减少日志输出
            .run_async(pipe_stdin=True, pipe_stdout=True, pipe_stderr=True)
    )

def main():
    cap = cv2.VideoCapture(0)
    if not cap.isOpened():
        print("摄像头无法打开，退出...")
        return -1

    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    channels = 3
    frame_size = width * height * channels

    ffmpeg_process = start_ffmpeg_process_async(width, height)

    # 启动stderr读取守护线程
    stderr_thread = threading.Thread(target=read_stderr, args=(ffmpeg_process,), daemon=True)
    stderr_thread.start()

    try:
        while True:
            success, img = cap.read()
            if success:
                # OpenCV BGR转ffmpeg需要的RGB
                img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
                # 写入帧并立即flush
                ffmpeg_process.stdin.write(img_rgb.tobytes())
                ffmpeg_process.stdin.flush()

                # 读取输出帧，校验字节数
                raw_output = ffmpeg_process.stdout.read(frame_size)
                if len(raw_output) != frame_size:
                    print(f"输出帧字节数异常：{len(raw_output)}，跳过当前帧")
                    continue

                # 转换为图像并转回BGR给OpenCV显示
                output_image = np.frombuffer(raw_output, np.uint8).reshape((height, width, channels))
                output_bgr = cv2.cvtColor(output_image, cv2.COLOR_RGB2BGR)
                cv2.imshow('Webcam', output_bgr)
            else:
                print("摄像头读取失败")

            if cv2.waitKey(1) == ord('q'):
                print("退出中...")
                break
    finally:
        print("清理资源...")
        ffmpeg_process.stdin.close()
        ffmpeg_process.wait()
        cap.release()
        cv2.destroyAllWindows()

if __name__ == "__main__":
    main()

额外说明 #

• 守护线程会随主进程退出自动结束，无需手动管理。
• 颜色格式转换是容易忽略的细节，之前的代码可能因格式不匹配导致ffmpeg处理异常，间接引发死锁。
• 字节数校验可以避免因ffmpeg异常输出导致的无限等待。

内容的提问来源于stack exchange，提问作者sa_penguin