如何通过pybind11将Python的cv2.VideoCapture传递给C++的cv::VideoCapture

核心问题分析 #

• 直接绑定函数时，pybind11无法识别OpenCV官方Python绑定生成的cv2.VideoCapture对象与C++cv::VideoCapture的关联，导致类型不匹配错误。
• 强制使用reinterpret_cast转换py::object为cv::VideoCapture&完全错误，因为Python对象的内存布局与C++cv::VideoCapture完全不同，会触发段错误。

解决方案：利用OpenCV Python绑定的底层指针 #

OpenCV的Python绑定会为cv2.VideoCapture对象暴露__ptr__属性，这是一个pycapsule，存储了底层C++cv::VideoCapture对象的指针。我们可以通过这个指针完成类型转换。

方法1：直接在绑定lambda中处理转换 #

修改你的C++绑定代码如下：

#include <pybind11/pybind11.h>
#include <opencv2/opencv.hpp>

namespace py = pybind11;

void process_video(cv::VideoCapture& cap) {
    // 示例操作：读取一帧并检查
    cv::Mat frame;
    if (cap.read(frame)) {
        // 处理帧逻辑
    }
}

PYBIND11_MODULE(example, m) {
    m.def("process_video", [](py::object cap_python) {
        try {
            // 获取底层C++对象的指针
            py::capsule cap_capsule = cap_python.attr("__ptr__");
            cv::VideoCapture* cap_cpp = static_cast<cv::VideoCapture*>(cap_capsule.get_pointer());
            
            if (!cap_cpp) {
                throw py::value_error("Invalid cv2.VideoCapture object");
            }
            
            // 传递引用给处理函数
            process_video(*cap_cpp);
        } catch (const py::error_already_set& e) {
            // 转发Python异常
            throw;
        }
    });
}

方法2：注册自定义类型转换器（更优雅） #

通过注册pybind11自定义类型转换器，让pybind11自动完成cv2.VideoCapture到cv::VideoCapture&的转换，这样可以直接绑定原始函数：

#include <pybind11/pybind11.h>
#include <opencv2/opencv.hpp>

namespace py = pybind11;

void process_video(cv::VideoCapture& cap) {
    // 示例操作：读取一帧并检查
    cv::Mat frame;
    if (cap.read(frame)) {
        // 处理帧逻辑
    }
}

// 注册自定义类型转换器
namespace pybind11 { namespace detail {
    template <> struct type_caster<cv::VideoCapture&> {
    public:
        PYBIND11_TYPE_CASTER(cv::VideoCapture&, _("cv::VideoCapture"));

        // 从Python对象转换到C++对象
        bool load(handle src, bool) {
            if (!src) return false;
            try {
                py::capsule cap_capsule = src.attr("__ptr__");
                value = *static_cast<cv::VideoCapture*>(cap_capsule.get_pointer());
                return true;
            } catch (const py::error_already_set&) {
                return false;
            }
        }

        // 可选：C++到Python的转换（这里我们不需要，所以抛出未实现）
        static handle cast(cv::VideoCapture& src, return_value_policy policy, handle parent) {
            throw py::not_implemented_error("Conversion from cv::VideoCapture to Python is not supported");
            return nullptr;
        }
    };
}} // namespace pybind11::detail

PYBIND11_MODULE(example, m) {
    // 直接绑定原始函数，转换器会自动处理类型转换
    m.def("process_video", &process_video);
}

注意事项 #

• 确保Python环境中的OpenCV版本与C++编译时链接的OpenCV版本一致，避免ABI不兼容问题。
• __ptr__属性是OpenCV Python绑定的内部实现，主流4.x版本均使用此属性，若后续版本变更属性名需对应调整。
• 不要手动释放获取到的C++指针，内存由Python的cv2.VideoCapture对象管理，当Python对象被垃圾回收时自动释放。

验证代码 #

Python调用代码保持不变：

import cv2
import example

cap = cv2.VideoCapture("file_example_MP4_480_1_5MG.mp4")
assert cap.isOpened(), "Cannot open video"

example.process_video(cap)

print("End")

内容的提问来源于stack exchange，提问作者Giovanni Saponaro