基于Gray Code结构光的3D扫描三角化结果畸变求助

核心排查方向（基于你已排除标定、解码环节的前提） #

1. 像素坐标的畸变处理是否彻底 #

• 确认相机的畸变校正覆盖了所有参与三角化的像素点：解码得到的相机像素坐标必须经过cv2.undistortPoints处理，直接用原始畸变像素坐标代入三角化会直接引发点云畸变。
• 投影仪像素坐标的畸变校正：若标定环节包含投影仪畸变参数，必须对解码得到的投影仪像素坐标做同样的畸变去除处理，忽略这一步会导致投影端坐标偏差。

2. 投影矩阵构建错误 #

• 单相机+投影仪属于非平行双目系统，cv2.stereoRectify是为平行双目设计的，强行使用会破坏原始投影关系，这也是你尝试后结果更差的原因。正确做法是直接用标定得到的参数构建投影矩阵：

  # 相机投影矩阵：P1 = 相机内参K1 @ [相机外参R1 | 相机外参T1]
  # 投影仪投影矩阵：P2 = 投影仪内参K2 @ [投影仪外参R2 | 投影仪外参T2]
  

  注意：两个外参必须基于同一世界坐标系，不能混用不同坐标系下的R/T参数。

3. OpenCV三角化函数的参数误用 #

• 使用cv2.triangulatePoints时需严格遵循以下要求：
  • 输入像素坐标必须是归一化后的齐次坐标（先通过undistortPoints校正，再补充齐次维度），不能直接用原始像素值。
  • 投影矩阵必须是3x4格式，且对应同一世界坐标系。
  • 三角化后的齐次坐标必须做齐次化处理（除以最后一维），否则会导致点云缩放或畸变。
    标准流程示例：

  import numpy as np
  import cv2
  
  # 假设已获取校正前的匹配点对：相机pts1(N,2)、投影仪pts2(N,2)
  # 假设已获取标定参数：相机K1, dist1, R1, T1；投影仪K2, dist2, R2, T2
  
  # 畸变校正
  pts1_undist = cv2.undistortPoints(pts1, K1, dist1, None, K1)
  pts2_undist = cv2.undistortPoints(pts2, K2, dist2, None, K2)
  
  # 转换为齐次坐标
  pts1_homo = np.hstack((pts1_undist.reshape(-1,2), np.ones((len(pts1_undist),1))))
  pts2_homo = np.hstack((pts2_undist.reshape(-1,2), np.ones((len(pts2_undist),1))))
  
  # 构建投影矩阵
  P1 = K1 @ np.hstack((R1, T1))
  P2 = K2 @ np.hstack((R2, T2))
  
  # 三角化计算
  points_homo = cv2.triangulatePoints(P1, P2, pts1_homo.T, pts2_homo.T)
  # 齐次化得到3D点
  points_3d = points_homo[:3, :] / points_homo[3, :]
  points_3d = points_3d.T
  

4. 坐标系一致性问题 #

• 确认相机与投影仪的外参基于同一世界坐标系：若标定输出的是相机相对于投影仪的外参，需转换为同一基准（比如将投影仪设为世界坐标系原点，相机外参直接用标定得到的R/T；反之亦然）。
• 检查坐标系方向：OpenCV采用右手相机坐标系，若投影仪坐标系为左手系，需对投影矩阵的T向量Z轴取反，否则会出现点云镜像或缩放畸变。

5. 匹配点对的隐性误匹配 #

• 随机抽取多组匹配点对，手动验证是否对应同一物理点。Gray Code解码在图案边缘、高反光区域容易出现误匹配，这类点对会导致三角化结果异常，进而表现为整体畸变。

6. 数值精度问题 #

• 三角化对精度敏感，全程使用float64类型计算，避免float32的精度损失。
• 若局部点云畸变严重，检查该区域的相机与投影仪视线夹角是否过小（近乎平行），这类点的三角化误差属于系统结构固有问题，需调整相机/投影仪摆放位置优化夹角。

内容的提问来源于stack exchange，提问作者Jones1403