warpPerspective处理后鸟瞰图的相机位姿估计内参矩阵选择疑问

畸变系数设置：确实为0 #

鸟瞰图是从去畸变后的原始图像通过warpPerspective变换得到的，去畸变步骤已经消除了原始相机的镜头畸变，后续的单应变换也不会引入新的畸变。因此调用solvePnp()时，畸变系数dist必须设为0，你的猜测是正确的。

相机矩阵的选择：使用鸟瞰图对应虚拟相机的内参 #

鸟瞰图并非真实相机拍摄的图像，而是通过单应变换生成的虚拟俯视视角图像，因此不能直接使用原始相机的内参（包括去畸变后的K_undist），需要定义该虚拟相机的内参矩阵K_bird：

定义虚拟内参的两种常见方式 #

• 已知物理比例的场景：
  如果你明确鸟瞰图的像素与真实世界物理单位的对应关系（例如1像素=0.01米），则虚拟内参的焦距fx、fy可按如下计算：

  # 假设x/y方向像素密度一致，1米对应100像素
  fx = fy = 100  # 单位：像素/米
  cx = birdview_width / 2  # 主点设为图像中心
  cy = birdview_height / 2
  K_bird = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)
  

• 未知物理比例的场景：
  若不清楚物理比例，可将虚拟内参的焦距设为与图像尺寸相关的数值（例如fx=birdview_width、fy=birdview_height），主点仍设为图像中心。此时solvePnp()得到的位姿会包含缩放因子，但位姿的旋转关系和平移的相对比例是准确的。

关键注意事项 #

鸟瞰图的2D点与3D世界点的对应关系必须准确，且3D世界点的坐标系需与你定义的虚拟相机视角逻辑一致（例如地面平面为世界坐标系的XY平面，Z轴垂直向上）。

内容的提问来源于stack exchange，提问作者Marco Ghigo