双目相机结构光3D扫描仪：对应点匹配与三角化问题求助

问题背景 #

搭建了基于双目相机+LED投影仪的3D扫描仪，已完成双目相机标定、机械系统搭建，实现格雷码投射与图像采集、解码，但三角化阶段无法匹配左右相机的解码点，使用j+img_index_x_L[i][j]的计算方式无法得到正确对应点。

解决步骤 #

1. 校验解码结果准确性 #

• 手动选取多组特征点（比如投影仪投射的编码边界点），对比左右相机图像中同一编码对应的像素位置，确认img_correspondence_l和右相机解码映射的坐标是否与目视一致，排查解码误码问题。
• 添加解码置信度过滤逻辑，丢弃低置信度的解码点（比如格雷码解码时出现相邻码值跳变过大的点），避免无效点干扰匹配。

2. 修正对应点匹配逻辑 #

你的当前计算逻辑假设左右相机像素行完全对齐、投影仪编码映射为简单偏移，这在实际系统中很难成立。正确的匹配应通过投影仪编码作为中间桥梁+极线约束实现：

• 从左相机解码结果中获取点(i,j)对应的投影仪编码值code
• 在右相机解码映射图中，筛选出所有编码等于code的候选点
• 利用双目标定得到的基础矩阵F计算左点对应的右极线，在候选点中选取距离极线最近的点作为匹配点

示例代码片段：

import cv2
import numpy as np

# 假设已获取：左/右相机内参K1/K2，旋转矩阵R，平移向量T；左/右解码映射img_correspondence_l/img_correspondence_r
F = K2.T @ np.array([[0, -T[2], T[1]], [T[2], 0, -T[0]], [-T[1], T[0], 0]]) @ np.linalg.inv(K1)

for i in range(img_correspondence_l.shape[0]):
    for j in range(img_correspondence_l.shape[1]):
        code = img_correspondence_l[i][j]
        if code == -1:  # 跳过无效解码点
            continue
        
        # 获取右相机中同编码的候选点
        match_y, match_x = np.where(img_correspondence_r == code)
        if len(match_y) == 0:
            continue
        
        # 计算左点对应的右极线，筛选最优匹配
        pt_l = np.array([j, i, 1]).reshape(3, 1)
        l_r = F @ pt_l  # 右极线方程 ax + by + c = 0
        min_dist = float('inf')
        best_pt = None
        
        for y_r, x_r in zip(match_y, match_x):
            # 计算候选点到极线的距离
            dist = abs(l_r[0]*x_r + l_r[1]*y_r + l_r[2]) / np.sqrt(l_r[0]**2 + l_r[1]**2)
            if dist < min_dist:
                min_dist = dist
                best_pt = (x_r, y_r)
        
        if best_pt:
            # 执行三角化
            proj_mat1 = np.hstack((K1, np.zeros((3, 1))))
            proj_mat2 = np.hstack((K2 @ R, K2 @ T))
            pts_4d = cv2.triangulatePoints(proj_mat1, proj_mat2,
                                           np.array([[j], [i]]),
                                           np.array([[best_pt[0]], [best_pt[1]]]))
            pts_3d = pts_4d[:3] / pts_4d[3]

3. 重新验证双目标定精度 #

• 用标定得到的内参、外参对棋盘格图像进行重投影，计算重投影误差。若误差超过1像素，需重新标定：确保棋盘格覆盖相机全视野，采集至少15张不同角度的图像，角点提取时保证精度。

4. 参考structuredlight项目的匹配逻辑 #

查看该项目中三角化模块的实现，确认其是否通过投影仪编码建立左右相机的像素映射，而非直接依赖像素偏移，对齐自身实现逻辑与项目的核心匹配思路。

内容的提问来源于stack exchange，提问作者Çağatay KARADEMİR