3D图像转2D平面变换：解决OpenCV warpPerspective生成俯视图棋盘格偏移问题

透视偏移问题解决方案 #

你遇到的偏移本质是单应性矩阵适配范围有限或未做相机预处理导致的，可通过以下方案解决：

• 先完成相机标定与畸变校正
  提前标定拍摄设备的内参与畸变系数，使用cv2.undistort()对原图做去畸变处理，消除镜头本身的径向、切向畸变导致的像素偏移后，再执行后续透视变换操作。
• 优化单应性矩阵的参考点选择
  透视变换依赖的warpPerspective()仅能保证同一物理平面上的点映射准确，如果你之前仅用棋盘格的角点计算单应性矩阵，非棋盘格平面的台面区域自然会出现偏移。你需要选取同时覆盖棋盘格和厨房台面的共面参考点（至少4个，参考点越多精度越高），所有参考点必须和你要生成平面图的目标平面处于同一物理高度，再调用cv2.findHomography()计算变换矩阵，可搭配RANSAC算法过滤异常点，进一步提升矩阵精度。
• 改用逆透视变换（IPM）适配多高度场景
  如果场景内的物体存在高度差（比如棋盘格本身有厚度，和台面不共面），可以改用固定外参的逆透视变换方案：提前标定相机的安装高度、俯仰角、偏航角参数，基于相机成像原理直接计算每个像素在地面平面的对应坐标，不需要依赖场景内的临时参考点，能保证不同高度物体的相对位置和现实场景一致。
• 固定偏移后处理校正
  如果已经生成的透视变换图像偏移量是固定的，可以先计算变换后棋盘格的实际位置和预期位置的偏移向量，对整张图像做仿射平移校正，抵消固定偏差。

内容的提问来源于stack exchange，提问作者samueuh