如何用FFmpeg读取视频（文件/RTSP）并通过OpenCV显示？

阿华AIGC实验室

2026-5-14

我完全理解你想用FFmpeg替代OpenCV的VideoCapture来读取视频源，再把帧交给OpenCV处理的需求——其实用ffmpeg-python库完全可以实现，核心是让FFmpeg输出OpenCV能直接解析的原始帧数据，下面我一步步给你讲清楚具体怎么操作：

核心思路

FFmpeg可以将视频解码成原始BGR像素流（OpenCV默认使用BGR通道顺序），我们通过管道把这个流读取到内存，再转换成OpenCV原生的numpy.ndarray格式，这样就不需要你虚构的read()和ffmpeg2cv()函数了。

具体实现步骤

1. 配置FFmpeg输出参数

要让FFmpeg输出适合OpenCV的帧数据，必须指定几个关键参数：

-f rawvideo：输出原始视频格式（无压缩的像素数据）
-pix_fmt bgr24：指定像素格式为BGR、24位深度（每个像素3字节，对应OpenCV的标准格式）
-vcodec rawvideo：强制使用原始视频编码，避免额外压缩

2. 建立管道读取FFmpeg输出

ffmpeg-python的.run_async(pipe_stdout=True)方法可以异步启动FFmpeg进程，并将标准输出绑定到Python的管道，这样我们就能实时读取帧数据。

3. 字节流转OpenCV帧

根据视频的宽高计算单帧的字节数（宽度×高度×3），读取对应长度的字节流后，用numpy将其转换成形状为(高度, 宽度, 3)的数组——这就是OpenCV可以直接处理的帧了。

完整代码示例

以下代码支持本地视频文件、USB摄像头、RTSP流三种输入源：

import cv2
import ffmpeg
import numpy as np

def ffmpeg_to_cv(video_source, width=None, height=None):
    """
    用FFmpeg读取视频源，逐帧返回OpenCV格式的帧
    :param video_source: 视频文件路径/USB摄像头标识/RTSP地址
    :param width: 视频宽度（可选，自动探测则设为None）
    :param height: 视频高度（可选，自动探测则设为None）
    """
    # 构建FFmpeg命令链
    ffmpeg_cmd = ffmpeg.input(video_source)
    
    # 如果是RTSP流，建议添加tcp传输参数避免丢包
    if 'rtsp://' in video_source:
        ffmpeg_cmd = ffmpeg.input(video_source, rtsp_transport='tcp')
    
    # 配置输出为原始BGR流
    process = (
        ffmpeg_cmd
        .output('pipe:', format='rawvideo', pix_fmt='bgr24', vcodec='rawvideo')
        .run_async(pipe_stdout=True)
    )

    # 自动探测视频宽高（如果未指定）
    if width is None or height is None:
        probe = ffmpeg.probe(video_source)
        video_stream = next((s for s in probe['streams'] if s['codec_type'] == 'video'), None)
        width = int(video_stream['width'])
        height = int(video_stream['height'])

    try:
        while True:
            # 读取单帧的字节数据
            frame_bytes = process.stdout.read(width * height * 3)
            if not frame_bytes:
                break  # 视频流结束
            
            # 转换为OpenCV帧格式
            frame = np.frombuffer(frame_bytes, np.uint8).reshape((height, width, 3))
            yield frame
    finally:
        # 确保进程正常关闭，避免资源泄漏
        process.terminate()
        process.wait()

# -------------- 使用示例 --------------
if __name__ == '__main__':
    # 1. 读取本地视频文件
    # video_source = 'XXX.mp4'
    
    # 2. 读取USB摄像头（Windows用'video=0'，Linux用'/dev/video0'）
    # video_source = 'video=0'
    
    # 3. 读取RTSP流
    video_source = 'rtsp://your_rtsp_stream_url'

    for frame in ffmpeg_to_cv(video_source):
        cv2.imshow('FFmpeg -> OpenCV', frame)
        # 按q键退出
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    cv2.destroyAllWindows()

关键细节说明