如何在C++ Boost.Python中将Intel Realsense SR300的cv::Mat深度图转为tf.placeholder？

我之前刚好处理过类似的技术栈整合问题——用Boost.Python把OpenCV的Mat传给TensorFlow的placeholder确实需要几步桥接，这里给你梳理下具体实现方案：

核心逻辑 #

本质是完成两个关键转换：

1. 把Intel SR300输出的cv::Mat（通常是16位单通道CV_16UC1）转换成TensorFlow兼容的数据格式
2. 通过Boost.Python搭建C++到Python的桥接，让Python端的TensorFlow能接收并使用这个数据

步骤1：C++端将cv::Mat转换为numpy数组（最便捷的方式） #

TensorFlow和numpy的交互非常成熟，所以优先把cv::Mat转成numpy数组，再传递到Python端。以下是Boost.Python的包装代码：

#include <boost/python.hpp>
#include <boost/python/numpy.hpp>
#include <opencv2/opencv.hpp>

namespace py = boost::python;
namespace np = boost::python::numpy;

// 将cv::Mat转换为numpy.ndarray
np::ndarray cv_mat_to_numpy(const cv::Mat& depth_mat) {
    // 处理深度图的数据类型映射：SR300的深度图默认是CV_16UC1，可按需转成float32
    cv::Mat processed_mat;
    if (depth_mat.type() == CV_16UC1) {
        // 归一化到[0,1]区间的float32，适合大多数TensorFlow模型
        depth_mat.convertTo(processed_mat, CV_32F, 1.0 / 65535.0);
    } else {
        processed_mat = depth_mat.clone();
    }

    // 匹配numpy的数据类型
    np::dtype dtype = np::dtype::get_builtin<float>();
    // 如果要保留原始16位数据，就用下面这行替换：
    // np::dtype dtype = np::dtype::get_builtin<uint16_t>();

    // 创建对应形状的numpy数组（H, W, 通道数）
    py::tuple shape = py::make_tuple(processed_mat.rows, processed_mat.cols, processed_mat.channels());
    np::ndarray arr = np::empty(shape, dtype);

    // 拷贝Mat数据到numpy数组（确保Mat是连续内存，非连续的话先clone）
    if (processed_mat.isContinuous()) {
        memcpy(arr.get_data(), processed_mat.data, processed_mat.total() * processed_mat.elemSize());
    } else {
        cv::Mat continuous_mat = processed_mat.clone();
        memcpy(arr.get_data(), continuous_mat.data, continuous_mat.total() * continuous_mat.elemSize());
    }

    return arr;
}

// 暴露函数到Python模块
BOOST_PYTHON_MODULE(depth_bridge) {
    np::initialize(); // 必须初始化numpy模块
    py::def("cv_mat_to_numpy", cv_mat_to_numpy);
}

步骤2：Python端接收数据并传入tf.placeholder #

编译上面的C++代码生成Python扩展模块后，就可以在Python中调用并对接TensorFlow：

import depth_bridge
import tensorflow as tf
# 假设你已经通过Boost.Python拿到了C++端的cv::Mat对象（比如从Realsense回调中获取）
depth_mat = get_realsense_depth_mat() 

# 转换为numpy数组
depth_np = depth_bridge.cv_mat_to_numpy(depth_mat)

# 创建匹配形状和数据类型的placeholder
# 这里用[None, None, 1]支持任意尺寸的深度图，也可以固定成你的SR300输出尺寸（比如480x640）
depth_ph = tf.placeholder(tf.float32, shape=[None, None, 1])

# 构建feed_dict传入placeholder
feed_dict = {depth_ph: depth_np}

# 后续就可以在会话中使用这个feed_dict了，比如：
# with tf.Session() as sess:
#     result = sess.run(your_model, feed_dict=feed_dict)

关键注意事项 #

• 数据类型对齐：确保cv::Mat转换后的numpy数组类型和tf.placeholder的dtype完全一致，比如转成float32就用tf.float32，保留uint16就用tf.uint16，否则会报错。
• 内存连续性：OpenCV的Mat如果是ROI或者经过非连续操作（比如切片），内存会不连续，必须先clone成连续矩阵再拷贝，否则数据会错乱。
• 形状匹配：numpy数组的形状是(H, W, 1)，placeholder的形状要对应，比如[None, None, 1]或者[480, 640, 1]。

内容的提问来源于stack exchange，提问作者bolero