已知相机内参如何实现视图空间到像素坐标转换？投影矩阵错误排查

1. 投影矩阵修改错误 #

你直接将原投影矩阵的第三、四行都设置为[0, 0, -1, 0]属于不合理修改：

• 原投影矩阵第四行的作用是生成齐次分量w = -Z_cam（相机坐标系下的Z值，相机朝向为-Z轴时符合常规约定），是透视除法的核心，第四行可以保留[0, 0, -1, 0]不变。
• 第三行仅控制深度值输出，不影响x、y的投影计算，即使不需要深度信息也无需修改为和第四行一致，保留原值或者任意设置都不会干扰坐标投影结果。

2. Y轴符号匹配错误，是当前偏差的核心来源 #

我们可以直接推导你当前的计算逻辑和标准相机投影公式的差异：
标准像素坐标投影公式为：

x_pixel = fx * X_cam / Z_cam + cx
y_pixel = fy * Y_cam / Z_cam + cy

其中X_cam、Y_cam、Z_cam为相机坐标系下的3D点坐标（Z_cam为正表示点在相机前方）。

你的计算逻辑推导后得到的y像素坐标为：

y_pixel = fy * Y_cam / Z_cam + (h - cy)

和标准公式相比，y坐标多了h - 2*cy的偏移，本质是没有匹配图像坐标系和投影坐标系的Y轴方向：图像像素坐标系的Y轴通常从上到下递增，而你用的投影矩阵默认Y轴从下到上递增，两者方向相反。

修正方案二选一： #

• 方案1：修改像素转换逻辑，将y坐标转换改为y = (1 - y) * h / 2
• 方案2：调整投影矩阵中y相关项的符号，改为2 * fy / h和1 - 2*cy/h，删除原来的负号。

3. 缺失视图变换（View Matrix） #

3D顶点的标准变换流程是：顶点局部坐标 -> Model矩阵 -> 世界坐标 -> View矩阵 -> 相机坐标 -> Projection矩阵 -> 裁剪坐标，你只提到了应用Model矩阵，如果没有额外对顶点应用相机外参对应的View矩阵（将世界坐标转换到相机坐标系），投影结果必然存在偏差。

4. 其他需校验的点 #

• 确认fx、fy、cx、cy的单位是否为像素单位，和图像的宽高w、h单位匹配。
• 确认相机坐标系的朝向约定是否和投影矩阵匹配：大部分图形API约定相机朝向为-Z轴，如果你标定的相机坐标系朝向为+Z轴，需要额外调整Z值的符号。

内容的提问来源于stack exchange，提问作者John Katsantas