Raw RGB深度图转灰度图：C++与Python结果差异及修正方案

我在使用搭载深度传感器的Python仿真环境，可视化部分用C++实现，需要将传感器输出的Raw RGB深度图按公式转换为灰度图：

normalized = (R + G * 256 + B * 256 * 256) / (256 * 256 * 256 - 1)
in_meters = 1000 * normalized

但C++转换结果不如Python版本，公式和输入图像一致，差异原因及修复方案如下：

差异原因 #

1. 8位整数运算溢出：
   OpenCV拆分后的通道是CV_8UC1类型（0-255的无符号整数），计算raw_ch[1] * 256或raw_ch[0] * 65536时，结果会超过8位数据的最大值255，直接被截断（比如G=1时，1*256=256会变成0），导致深度计算完全错误。而Python代码先把图像转为float32，所有运算都在浮点域进行，不会出现溢出。
2. 冗余无效代码：
   代码中raw_extended的创建完全多余，且用8位图像的内存指针初始化16位图像会导致内存越界风险，虽然没实际使用，但属于错误写法。

修改后的C++代码 #

cv::Mat ConvertRawToDepth(cv::Mat raw_image)
{
    // raw_image.type() => CV_8UC3

    // Split into B, G, R channels
    std::vector<cv::Mat> raw_ch(3);
    cv::split(raw_image, raw_ch);

    // Convert channels to 32-bit float to avoid overflow
    cv::Mat B, G, R;
    raw_ch[0].convertTo(B, CV_32FC1);
    raw_ch[1].convertTo(G, CV_32FC1);
    raw_ch[2].convertTo(R, CV_32FC1);

    // Calculate depth using the formula, all operations in float
    cv::Mat depth_gray = 1000.0 * (R + G * 256.0 + B * 65536.0) / 16777215.0;

    // Convert to BGR for visualization
    cv::Mat depth_3d;
    cv::cvtColor(depth_gray, depth_3d, cv::COLOR_GRAY2BGR);

    return depth_3d;
}

关键修改点 #

• 将拆分后的8位通道转为CV_32FC1浮点类型，确保乘法运算不会溢出；
• 所有常量（256、65536、16777215）使用浮点形式（加.0），强制运算在浮点域进行；
• 移除了无意义的raw_extended代码块。

内容的提问来源于stack exchange，提问作者GabyUnalaq