如何用Python在RealSense D435深度图中获取距离及转换类型？

嗨，针对你用RealSense D435在Ubuntu 16.04下用Python获取深度点距离时遇到的问题，我来给你梳理下可行的解决方案：

首先明确说：完全可以将numpy.uint16类型的深度图像转换为float/double类型，这是处理RealSense深度数据的常规操作，而且操作非常简单。另外针对你提到的对齐图像空洞问题，我也会给出实用的修复方案。

一、深度图像类型转换方法 #

RealSense D435输出的numpy.uint16深度图像，每个像素值对应的是毫米级的深度距离（比如你拿到的depth_image[200][100] = 300，就代表该点距离相机300mm=0.3m）。转换为float类型只需要一行numpy代码：

import numpy as np

# 假设depth_image是你获取的numpy.uint16类型深度图
float_depth = depth_image.astype(np.float32)  # 转成float32，也可以用np.float64转成double类型

# 如果需要直接得到米级的深度值，可同时除以1000
meter_depth = float_depth / 1000.0

转换后你就能适配示例代码的逻辑了，这里要注意convert_depth_pixel_to_metric_coordinate函数对深度值单位的要求——一般RealSense官方的实现是接受米级深度，所以可以这样用：

pixel_x, pixel_y = 100, 200
# 获取指定像素的米级深度值
depth_meter = meter_depth[pixel_y][pixel_x]

# 计算度量坐标
x, y, z = convert_depth_pixel_to_metric_coordinate(depth_meter, pixel_x, pixel_y, camera_intrinsics)

二、深度图像空洞修复方案 #

你提到对齐图像存在大量空洞（像素值为(0,0,0)，对应深度值0），这会导致获取的深度值无效，所以修复空洞是获取有效深度的前提。这里给两个实用的方案：

1. 用RealSense SDK自带的空洞填充滤波 #

RealSense的Python SDK自带了专门针对深度图的滤波工具，其中Hole Filling Filter就是用来处理空洞的，效果贴合硬件特性：

import pyrealsense2 as rs

# 初始化空洞填充滤波器
hole_filling_filter = rs.hole_filling_filter()

# 假设你已经从相机获取到了原始depth_frame
filled_depth_frame = hole_filling_filter.process(depth_frame)

# 将处理后的帧转换为numpy数组
depth_image = np.asanyarray(filled_depth_frame.get_data())

这个方法不需要额外依赖，处理速度也快，是优先推荐的方案。

2. 用OpenCV进行图像修复 #

如果SDK的滤波效果达不到你的要求，也可以用OpenCV的图像修复功能来填充空洞：

import cv2

# 第一步：创建掩码，标记出深度值为0的空洞区域
mask = (depth_image == 0).astype(np.uint8) * 255

# 第二步：将uint16深度图转换为8位单通道图像（OpenCV的inpaint函数要求输入为8位）
depth_8bit = cv2.normalize(depth_image, None, 0, 255, cv2.NORM_MINMAX, dtype=cv2.CV_8U)

# 第三步：执行修复，这里用TELEA算法（也可以换成cv2.INPAINT_NS）
filled_depth_8bit = cv2.inpaint(depth_8bit, mask, 3, cv2.INPAINT_TELEA)

# 第四步：将修复后的8位图像转换回uint16类型，恢复毫米级深度值
filled_depth = cv2.normalize(filled_depth_8bit, None, 0, 65535, cv2.NORM_MINMAX, dtype=cv2.CV_16U)

这种方法适合对修复精度要求较高的场景，但需要额外安装OpenCV。

三、完整流程建议 #

把修复和类型转换结合起来，完整的操作流程如下：

1. 从RealSense相机获取深度帧
2. 用SDK的空洞填充滤波处理深度帧，修复空洞
3. 将处理后的深度帧转换为numpy.uint16数组
4. 转换为float类型并转换为米级深度值
5. 获取指定像素的深度值，调用坐标转换函数计算距离

这样就能有效避免空洞导致的无效深度值问题，同时完成类型转换，获取准确的三维坐标和距离。

内容的提问来源于stack exchange，提问作者shadow dk