Pyrender相机模拟中投影关键点与真值偏差的原因排查

问题概述 #

• 为测试相机标定库，基于Pyrender编写Python脚本搭建针孔相机采集圆形网格板的3D场景
• 程序支持按Enter键保存渲染后的场景图像，以及对应的关键点像素位置JSON文件
• 编写验证脚本加载图像并叠加计算得到的真值关键点后，发现该关键点与图像中实际圆中心存在约0.5像素的偏差，且相机距离棋盘越近，偏差表现越明显
• 已采用64位浮点精度进行计算，仍无法定位偏差根源，需排查潜在错误

核心排查方向 #

• 渲染坐标系统的定义差异：Pyrender渲染管线中，3D点投影后的2D坐标是否以像素中心为基准？而多数视觉标定库默认像素坐标原点在左上角顶点，这种定义差异会直接导致0.5像素的系统偏移，近距离拍摄时投影坐标数值更大，偏差的视觉效果被放大。
• 3D模型的几何精度：检查圆形网格板的3D模型是否精准，比如圆的圆心是否严格对齐网格的理论坐标，模型面的细分程度是否足够。近距离渲染时，模型的微小几何误差会被投影放大，导致图像中圆心位置偏移。
• 相机投影模型的一致性：核对自定义的投影计算逻辑与Pyrender内部的针孔相机投影模型是否完全匹配，比如焦距的单位（像素/物理单位）、透视投影的近远裁剪面参数、内参矩阵的行列顺序是否一致。近距离拍摄时，裁剪面设置不当或参数单位不匹配会引入显著的投影偏差。
• 图像保存环节的失真：确认图像保存时是否使用了有损压缩格式（如JPEG），压缩过程的插值处理会导致图像像素偏移；同时检查保存的图像分辨率是否与渲染分辨率完全一致，是否存在隐式的缩放操作。
• 真值投影的计算逻辑：手动推导3D关键点到2D像素的投影公式，逐步骤对比自定义代码与Pyrender的投影流程，重点排查是否遗漏了相机畸变校正（若启用）、坐标空间转换（如世界→相机→裁剪→屏幕）的关键步骤。

内容的提问来源于stack exchange，提问作者tanjor