PyBullet中的旋转矩阵是世界转相机还是相机转世界坐标？

核心结论 #

PyBullet要求输入的是世界坐标转相机坐标（W2C）的变换矩阵，也就是常说的观察矩阵（View Matrix），和PyTorch3D默认要求的相机转世界（C2W）矩阵互为逆矩阵。

验证依据 #

1. PyBullet官方提供的computeViewMatrix接口，输入相机世界位姿、朝向参数后输出的viewMatrix，可直接传入getCameraImage用于渲染，该矩阵的数学定义完全符合OpenGL标准的W2C观察矩阵：世界坐标系下的3D点左乘该矩阵后，会得到对应相机坐标系下的坐标。
2. 可通过简单测试验证：在世界坐标系原点放置一个边长为1的立方体，相机放在世界坐标(0,0,2)位置朝向原点，将原点坐标左乘PyBullet输出的viewMatrix后，得到的相机坐标为(0,0,-2)，符合OpenGL相机坐标系下+z朝向相机后方的定义。

适配转换代码示例 #

import pybullet as p
import torch

# 从PyBullet获取view矩阵：返回为行优先存储的16元素列表
view_matrix = p.computeViewMatrix(
    cameraEyePos=[0, 0, 1],
    cameraTargetPos=[0, 0, 0],
    cameraUpVector=[0, 1, 0]
)
# 转换为列优先的4x4 W2C矩阵
w2c_pybullet = torch.tensor(view_matrix).reshape(4, 4).T
# 求逆得到未做坐标系适配的原始C2W矩阵
c2w_raw = torch.inverse(w2c_pybullet)
# 适配PyTorch3D坐标系：翻转x、z轴
flip_mat = torch.diag(torch.tensor([-1, 1, -1, 1.0]))
c2w_pytorch3d = flip_mat @ c2w_raw @ flip_mat

常见踩坑点 #

• 不要忽略PyBullet viewMatrix的存储顺序：它默认是行优先存储，直接reshape为4x4矩阵不做转置的话，矩阵行列会颠倒，导致旋转结果完全错误。
• 坐标系翻转需要同时适配旋转和平移部分，上述代码中的对角翻转矩阵操作可以同时处理两部分参数，比单独修改旋转矩阵更稳妥。
• 如果做完转换仍然存在渲染偏差，可以先分别输出两个框架下同一个3D点的投影坐标，逐点对比误差，即可快速定位是矩阵转换问题，还是内参、坐标系适配的问题。

内容的提问来源于stack exchange，提问作者MikaYeghi