透视投影后如何将点云RGB值正确关联到对应像素位置

核心错误定位 #

首先明确三个基础对应关系：

• 透视投影公式输出的x（归一化后第一维）是像素横向坐标，对应图像的列索引，范围为0 ~ 图像宽度-1
• 透视投影公式输出的y（归一化后第二维）是像素纵向坐标，对应图像的行索引，范围为0 ~ 图像高度-1
• NumPy图像数组的索引规则为img[行索引, 列索引, 颜色通道]

你之前的两处问题根源：

• 直接把投影得到的x赋值给row、y赋值给column，访问img[row, column]时相当于用列维度的坐标值去索引行维度，一旦x超过图像高度480，就会触发IndexError越界报错。
• 调换索引的写法仅修正了索引维度的对应关系，但缺少边界过滤、深度冲突处理两个必要逻辑，因此会出现渲染结果异常。

修复后的完整代码 #

import matplotlib.pyplot as plt
import open3d as o3d
import numpy as np

# 相机内参
cx = 325.5
cy = 253.5
fx = 518.0
fy = 519.0
K = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]])

# 读取点云
pcd = o3d.io.read_point_cloud('freiburg.pcd', remove_nan_points=True)
points = np.array(pcd.points)
colors = np.array(pcd.colors)

# 透视投影计算
projection = (K @ points.T).T
# 除以深度z归一化
normalization = projection / projection[:, [2]]
x = normalization[:, 0].astype(int)
y = normalization[:, 1].astype(int)
z = points[:, 2]  # 原始点深度，用于处理遮挡

# 图像尺寸：高480，宽640
img_h, img_w = 480, 640
img = np.zeros((img_h, img_w, 3))
# 初始化深度缓存，记录每个像素当前的最小深度
depth_buffer = np.full((img_h, img_w), np.inf)

# 遍历所有投影点
for xi, yi, zi, color in zip(x, y, z, colors):
    # 第一步：过滤超出图像边界的点
    if xi < 0 or xi >= img_w or yi < 0 or yi >= img_h:
        continue
    # 第二步：处理遮挡，仅当当前点比已记录的点更近时才更新颜色
    if zi < depth_buffer[yi, xi]:
        depth_buffer[yi, xi] = zi
        img[yi, xi, :] = color

# 显示结果
plt.imshow(img)
plt.show()

关键调整说明 #

• 维度对应修正：将索引赋值逻辑改为img[行索引(=投影y值), 列索引(=投影x值)]，从根源上解决越界报错问题
• 边界过滤：增加投影点的范围判断，跳过落在图像外的无效点，避免运行时错误
• 深度缓存机制：解决多个空间点投影到同一像素时的遮挡问题，仅保留距离相机最近的点的颜色，避免渲染结果错乱

内容的提问来源于stack exchange，提问作者fabian