如何将OpenCV C++处理后的帧推流至Video4Linux或ffmpeg

说明：Video4Linux（V4L2）是Linux系统下对接本地视频硬件设备的内核接口，本身不具备网络流推送能力。如果你的需求是推送UDP网络流，优先用OpenCV原生绑定FFmpeg的VideoWriter方案，实现成本最低；如果需要把处理后的帧输出到本地虚拟摄像头供其他程序调用，再用V4L2方案。

方案1：FFmpeg后端直接推UDP流（推荐，和现有代码兼容性最好） #

你当前已经能通过CAP_FFMPEG正常拉流，说明OpenCV编译时已经开启了FFmpeg支持，不需要额外装依赖，直接用cv::VideoWriter就能完成推流，核心是要保证输出参数和输入流完全匹配，否则会出现初始化失败、花屏、卡顿问题。

实现代码 #

直接修改你现有框架即可，注意先从输入流读取分辨率、帧率参数，不要硬编码：

#include <opencv2/opencv.hpp>
#include <iostream>

int main() {
    cv::VideoCapture capture("udp://@127.0.0.1:23000?overrun_nonfatal=1&fifo_size=50000000", cv::CAP_FFMPEG);
    if (!capture.isOpened()) {
        std::cerr << "输入流打开失败" << std::endl;
        return -1;
    }

    // 从输入流读取匹配的输出参数，避免参数不匹配
    int frame_w = static_cast<int>(capture.get(cv::CAP_PROP_FRAME_WIDTH));
    int frame_h = static_cast<int>(capture.get(cv::CAP_PROP_FRAME_HEIGHT));
    int fps = static_cast<int>(capture.get(cv::CAP_PROP_FPS));
    // 处理帧率为0的异常情况（部分流读取不到帧率时手动设为25）
    if (fps <= 0) fps = 25;

    cv::VideoWriter writer;
    std::string output_addr = "udp://@127.0.0.1:25000?overrun_nonfatal=1&fifo_size=50000000";
    // 绑定FFmpeg后端，用mpeg4编码（和你测试推流的编码一致），mpegts封装
    writer.open(
        output_addr,
        cv::CAP_FFMPEG,
        cv::VideoWriter::fourcc('m', 'p', '4', 'v'),
        fps,
        cv::Size(frame_w, frame_h),
        true
    );

    if (!writer.isOpened()) {
        std::cerr << "输出流初始化失败，请检查FFmpeg编码支持" << std::endl;
        return -1;
    }

    cv::Mat frame;
    while (true) {
        capture >> frame;
        if (frame.empty()) break; // 流中断时空帧判断，避免崩溃

        // 此处插入你的自定义帧处理逻辑
        // ...

        // 处理完成的帧直接写入writer即可自动推送到目标UDP地址
        writer.write(frame);

        // 按ESC键退出循环
        if (cv::waitKey(1) == 27) break;
    }

    capture.release();
    writer.release();
    return 0;
}

验证与调优 #

• 推流启动后，可以直接用ffplay拉流验证效果：ffplay udp://@127.0.0.1:25000
• 如果需要更低延迟，可以把编码换成H.264，对应fourcc为cv::VideoWriter::fourcc('a','v','c','1')，同时在输出地址后拼接?tune=zerolatency参数
• 如果出现卡顿，可以适当调小输出地址的fifo_size参数

方案2：基于V4L2的虚拟设备输出方案 #

如果你需要把处理后的帧输出为本地视频设备（比如供浏览器、会议软件读取），可以基于v4l2loopback创建虚拟摄像头实现：

1. 安装依赖并创建虚拟V4L2设备
   Debian/Ubuntu系执行以下命令：

   sudo apt install v4l2loopback-dkms v4l2loopback-utils
   # 加载内核模块，创建编号为10的虚拟摄像头，设备路径为/dev/video10
   sudo modprobe v4l2loopback devices=1 video_nr=10 card_label="OpenCV_Output" exclusive_caps=1
   

2. 修改代码中VideoWriter的初始化部分，直接打开V4L2设备：

   writer.open(
       "/dev/video10",
       cv::CAP_V4L2,
       cv::VideoWriter::fourcc('M', 'J', 'P', 'G'), // V4L2虚拟设备常用MJPG编码
       fps,
       cv::Size(frame_w, frame_h),
       true
   );
   

3. 如果需要把这个虚拟设备的内容再转成UDP流，可以额外开一个ffmpeg进程转发：

   ffmpeg -f v4l2 -i /dev/video10 -vcodec mpeg4 -f mpegts "udp://@127.0.0.1:25000"
   

常见踩坑提示 #

• 写入VideoWriter的帧尺寸、色彩空间必须和初始化时的参数完全一致，如果处理过程中修改了帧尺寸，要提前resize到匹配大小，否则会推流失败
• OpenCV读取的Mat默认是BGR格式，FFmpeg和V4L2后端都能直接识别BGR输入，不需要手动转RGB，否则会出现颜色反转
• 如果FFmpeg后端初始化失败，先在命令行执行ffmpeg -encoders | grep mpeg4确认系统FFmpeg支持对应编码

内容的提问来源于stack exchange，提问作者usamazf