Pyrender中世界坐标转像素坐标的异常问题排查

问题背景 #

尝试将Pyrender渲染的3D世界点转换为像素坐标，世界→相机的变换结果看似正常，但相机→像素的转换结果明显错误，无法定位问题，求排查思路。目标是获取世界点UVW对应的像素坐标uvw。

当前实现步骤 #

1. 创建相机 #

基于自定义内参矩阵K创建相机，用于确保K的正确性：

K = np.array([[415.69219382,   0.        , 320.        ],
   [  0.        , 415.69219382, 240.        ],
   [  0.        ,   0.        ,   1.        ]])
K = np.ascontiguousarray(K, dtype=np.float32)
# 注：此处存在语法错误，fy、cx、cy的取值写法错误
p_cam = pyrender.camera.IntrinsicsCamera(fx = K[0][0], fy = [1][1], cx =[0][2],  cy = [1][2])

scene.add(p_cam, pose=cam_pose.get_transformation_matrix(x=6170., y=4210., z=60., yaw=20, pitch=0, roll=40)) # cam_pose为自定义类

2. 变换矩阵生成 #

通过外参旋转创建相机位姿变换矩阵：

def get_transformation_matrix(self, x, y, z, yaw, pitch, roll):
    from scipy.spatial.transform import Rotation as R
    '''
    yaw = 绕z轴旋转
    pitch = 绕y轴旋转
    roll = 绕x轴旋转
    '''
    xyz = np.array([
        [x],
        [y],
        [z]
    ])
    rot = rot_matrix = R.from_euler('zyx', [yaw, pitch, roll], degrees=True).as_matrix()
    last_row = np.array([[0,0,0,1]])
    tf_m = np.concatenate((np.concatenate((rot,xyz), axis = 1), last_row), axis = 0)
    return np.ascontiguousarray(tf_m, dtype=np.float32)

3. 渲染结果 #

使用上述相机渲染图像，待转换点为屋顶顶端（粉色圆柱标记），近似像素坐标应为(500,160)：

3D场景中，黄色圆柱+坐标轴代表相机，蓝色点为待转换目标点：

4. 世界坐标转像素坐标代码 #

from icecream import ic
K = np.concatenate((K, [[0],[0],[0]]), axis = 1)
UVW1 = [[6184],[4245],[38],[1]] # 世界坐标系下粉色圆柱的齐次坐标
world_to_camera = np.linalg.inv(cam_pose.transformation_matrix).astype('float32') @ UVW1
ic(world_to_camera)
camera_to_pixel = K @ world_to_camera
ic(camera_to_pixel/camera_to_pixel[2]) # 转换回非齐次坐标

输出结果 #

ic| world_to_camera: array([[ 17.48892188],
                            [  7.11796755],
                            [-39.35071968],
                            [  1.        ]])

ic| camera_to_pixel/camera_to_pixel[2]: array([[135.25094424],
                                               [164.80738424],
                                               [  1.        ]])

结果分析 #

世界→相机的变换结果可能正确，但相机→像素的变换中x坐标（135）明显错误，y坐标（164）接近预期。怀疑内参矩阵存在问题，但无法定位具体错误。

排查思路 #

• 修复相机初始化语法错误：创建IntrinsicsCamera时，fy = [1][1]、cx =[0][2]、cy = [1][2]是语法错误，应改为fy=K[1][1]、cx=K[0][2]、cy=K[1][2]。该错误会导致相机实际使用的内参完全错误，直接影响渲染和坐标转换结果。
• 验证相机坐标系规范：Pyrender遵循OpenGL右手系，相机看向-z方向，x轴向右、y轴向上；而传统计算机视觉相机通常看向+z方向。你的world_to_camera结果z值为负符合OpenGL规则，但需确认投影计算时是否需要调整符号。
• 检查变换矩阵旋转顺序：R.from_euler('zyx', ...)的旋转顺序是绕世界轴按z→y→x旋转，需确认该顺序是否与你定义的yaw/pitch/roll逻辑匹配，若为相机自身轴旋转，需调整旋转顺序或旋转方向。
• 修正内参矩阵扩展逻辑：无需将3x3的K扩展为3x4矩阵，相机→像素的正确计算应为：取相机点的X/Y/Z分量，用原始K相乘后除以Z得到像素坐标。修正代码示例：

  camera_point = world_to_camera[:3]
  pixel_homo = K @ camera_point
  pixel_uv = pixel_homo / pixel_homo[2]
  

• 确认世界点坐标准确性：验证UVW1 = [[6184],[4245],[38],[1]]是否为粉色圆柱在世界坐标系下的准确坐标，坐标输入错误会直接导致转换结果偏差。
• 核对像素原点方向：Pyrender的图像像素原点为左上角，y轴向下；若你的预期坐标基于其他原点规则，需做对应转换。

内容的提问来源于stack exchange，提问作者nona