嵌入式Linux设备OpenCV调用H.264格式USB摄像头失败求助

OpenCV的原生V4L2后端不支持直接读取摄像头输出的H.264编码裸流，它只能处理解码后的像素格式（如MJPEG、YUV420等），这就是你设置FourCC无效的原因。不过有两种可行的替代方案来实现目标，同时降低CPU占用：

方案1：结合V4L2 + FFmpeg读取并解码H.264流，再转OpenCV Mat #

直接用V4L2 API读取摄像头的H.264裸流，然后用FFmpeg进行硬件加速解码，最后将解码后的帧转换成OpenCV的cv::Mat格式。步骤如下：

1. 先用v4l2-ctl确认摄像头的H.264输出参数：

   v4l2-ctl -d /dev/video2 --list-formats-ext
   

   记录下分辨率、帧率等参数。
2. 用V4L2 API配置摄像头输出H.264流，循环读取裸流数据。
3. 用FFmpeg初始化解码器（优先启用硬件解码，比如嵌入式平台的VA-API、NVDEC等），将读取到的H.264数据送入解码器，得到YUV帧。
4. 将YUV帧转换成OpenCV的cv::Mat（比如YUV420转BGR）。

示例代码片段（C++）：

// 省略V4L2初始化和读取流的代码，假设已读取到H.264裸流数据存于buffer中
AVCodecContext* codec_ctx = nullptr;
AVCodec* codec = avcodec_find_decoder(AV_CODEC_ID_H264);
codec_ctx = avcodec_alloc_context3(codec);
// 配置解码器参数（如分辨率）
avcodec_open2(codec_ctx, codec, nullptr);

AVPacket pkt;
av_init_packet(&pkt);
pkt.data = buffer;
pkt.size = buffer_size;

AVFrame* frame = av_frame_alloc();
int ret = avcodec_send_packet(codec_ctx, &pkt);
if (ret >= 0) {
    ret = avcodec_receive_frame(codec_ctx, frame);
    if (ret >= 0) {
        // 将YUV420帧转成BGR格式的cv::Mat
        cv::Mat yuv(frame->height*3/2, frame->width, CV_8UC1, frame->data[0]);
        cv::Mat bgr;
        cv::cvtColor(yuv, bgr, cv::COLOR_YUV2BGR_I420);
        // 后续处理bgr帧
    }
}

方案2：用GStreamer作为中间层，通过OpenCV的GStreamer后端读取 #

如果你的OpenCV编译时启用了GStreamer支持，可以直接用GStreamer管道来读取H.264流、解码，再传递给OpenCV。这种方式代码更简洁：

1. 构建GStreamer管道，示例如下（根据你的摄像头参数调整分辨率、帧率）：

   v4l2src device=/dev/video2 ! video/x-h264,width=1280,height=720,framerate=30/1 ! h264parse ! avdec_h264 ! videoconvert ! appsink
   

   其中avdec_h264可以替换为硬件加速解码器（比如vaapi_h264dec）以进一步降低CPU占用。
2. 在OpenCV中用该管道初始化VideoCapture：

   cv::VideoCapture cap(
       "v4l2src device=/dev/video2 ! video/x-h264,width=1280,height=720,framerate=30/1 ! h264parse ! avdec_h264 ! videoconvert ! appsink",
       cv::CAP_GSTREAMER
   );
   if (!cap.isOpened()) {
       // 处理打开失败的情况
       return -1;
   }
   cv::Mat frame;
   while (cap.read(frame)) {
       // 处理帧
       cv::imshow("Frame", frame);
       if (cv::waitKey(1) == 'q') break;
   }
   

关键说明 #

• 你之前尝试设置CAP_PROP_FOURCC无效的原因：OpenCV的V4L2后端仅支持它能直接解码或处理的像素格式，H.264是编码格式，不是原始像素格式，所以后端无法识别和处理，导致打开失败。
• 优先选择硬件解码：无论是FFmpeg还是GStreamer，都要确保启用了嵌入式平台对应的硬件解码库（比如Rockchip的RKMPP、NVIDIA的NVDEC等），这样才能真正降低CPU占用，达到比MJPEG更优的性能。

内容的提问来源于stack exchange，提问作者ImanityDev