基于旋转矩阵求解两图像间相机pitch/yaw/roll角的问题排查

核心问题定位：问题出在单应矩阵的计算/分解环节，而非欧拉角转换 #

你的角度结果严重偏离实际，且两种欧拉角转换方法都无效，说明问题根源不在角度转换步骤，而是单应矩阵的前提、计算或分解环节出现了错误，以下是按优先级排序的排查与修复方案：

1. 单应矩阵的适用场景错误 #

单应矩阵（Homography）仅适用于所有特征点都位于同一平面的场景（比如桌面、墙面）。如果你的拍摄场景是三维的（包含远近不同的物体），用单应矩阵求解相机姿态本身就是错误的，此时应该改用**本质矩阵（Essential Matrix）**估计旋转与平移（需已知相机内参），或用基础矩阵（Fundamental Matrix）。

2. 相机内参K完全错误 #

你设置的focal_length = 26是物理焦距（单位mm），但OpenCV的decomposeHomographyMat要求内参的焦距是像素单位，两者差了几个数量级，直接导致分解出的旋转矩阵完全失真。

像素焦距的计算方式：

# 替换为你相机的实际物理参数
focal_length_physical = 26  # 物理焦距，单位mm
sensor_width = 5.0  # 传感器宽度，单位mm，需查相机参数
# 计算像素焦距：(物理焦距 * 图像宽度) / 传感器宽度
focal_length_pixel = (focal_length_physical * img1_gray.shape[1]) / sensor_width

如果没有相机物理参数，建议通过相机标定获取准确的内参矩阵K，这是姿态估计的基础。

3. 单应分解的多解未筛选 #

cv2.decomposeHomographyMat会返回4个可能的旋转矩阵与平移向量组合，你直接取rotations[0]大概率不是符合场景的正确解。需根据合理性筛选：

• 平移向量的Z分量应为正（相机在场景前方，不会穿过物体）
• 结合特征点重投影误差，选择误差最小的解

示例筛选逻辑：

rotation_matrix = None
# 遍历所有可能的解
for R, t in zip(rotations, translations):
    # 筛选平移Z分量为正的解（符合相机在场景前的常识）
    if t[2] > 0:
        rotation_matrix = R
        break

4. 验证单应矩阵本身的准确性 #

先确认单应矩阵H是否可靠，计算特征点的重投影误差：

# 用H投影源特征点到目标图像
proj_pts = cv2.perspectiveTransform(src_pts, H)
# 计算平均像素误差
error = np.mean(np.sqrt((proj_pts[:,0,0] - dst_pts[:,0,0])**2 + (proj_pts[:,0,1] - dst_pts[:,0,1])**2))
print(f"平均重投影误差: {error}")

如果误差超过5个像素，说明特征匹配或H计算有问题，可优化匹配环节：

• 调高SIFT特征点数量（调整cv2.SIFT_create()的参数，比如nfeatures=2000）
• 提高好匹配的阈值（比如把0.75改成0.6）
• 检查图像是否存在模糊、光照突变等影响特征匹配的问题

欧拉角转换的补充验证 #

若前面的问题都修复后，再确认角度单位与旋转顺序：

• 自定义函数返回的是弧度，需转成角度：pitch_deg = np.degrees(pitch)
• scipy的as_euler('xyz', degrees=True)要确保旋转顺序与你定义的pitch/yaw/roll对应（通常pitch是X轴旋转、yaw是Y轴、roll是Z轴，xyz顺序需匹配）

关键代码修正示例 #

# 修正内参计算
focal_length_physical = 26  # 替换为你的相机物理焦距（mm）
sensor_width = 5.0  # 替换为你的相机传感器宽度（mm）
focal_length_pixel = (focal_length_physical * img1_gray.shape[1]) / sensor_width
cx = img1_gray.shape[1] / 2
cy = img1_gray.shape[0] / 2
K = np.array([[focal_length_pixel, 0, cx], 
              [0, focal_length_pixel, cy], 
              [0, 0, 1]], dtype=np.float32)

# 分解单应并筛选正确旋转矩阵
_, rotations, translations, normals = cv2.decomposeHomographyMat(H, K)
rotation_matrix = None
for R, t in zip(rotations, translations):
    if t[2] > 0:
        rotation_matrix = R
        break

# 转换为角度输出
if rotation_matrix is not None:
    eulerAngles = rotationMatrixToEulerAngles(rotation_matrix)
    pitch = np.degrees(eulerAngles[0])
    yaw = np.degrees(eulerAngles[1])
    roll = np.degrees(eulerAngles[2])
    print("Pitch (X-axis rotation):", pitch)
    print("Yaw (Y-axis rotation):", yaw)
    print("Roll (Z-axis rotation):", roll)

内容的提问来源于stack exchange，提问作者jj0457