OpenCV：Charuco板部分遮挡时interpolateCornersCharuco估计结果异常

问题根源 #

你的代码在Charuco板部分遮挡时出现插值错误，核心原因有两个：

• minMarkers=1的阈值过低，仅单个ArUco标记就触发插值，算法缺乏足够空间约束，极易算出错误的Charuco角点。
• 未传入相机内参和畸变系数，插值过程无法利用相机投影模型做约束，遮挡场景下精度大幅下降。

优化步骤 #

1. 提高最小标记数要求

把minMarkers从1调整为4（可根据实际遮挡程度灵活调高），只有检测到足够数量的标记时才执行插值，确保算法有足够参考基准：

_, charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco(
    corners, ids, image_grayscale, board,
    cameraMatrix=camera_matrix, distCoeffs=dist_coeffs, 
    minMarkers=4  # 调高触发插值的最小标记数
)

2. 传入相机标定参数

先完成相机标定，获取内参矩阵(camera_matrix)和畸变系数(dist_coeffs)并传入插值函数。相机模型会约束角点的投影位置，显著提升遮挡场景下的插值准确性。

3. 优化标记检测精度

将角点细化方法从CORNER_REFINE_CONTOUR替换为CORNER_REFINE_SUBPIX，它对亚像素级角点的定位更精准，能减少原始标记角点的检测误差，为后续插值提供更可靠的基础：

detection_params.cornerRefinementMethod = cv2.aruco.CORNER_REFINE_SUBPIX
detection_params.cornerRefinementMaxIterations = 30  # 增加迭代次数提升精度
detection_params.cornerRefinementMinAccuracy = 0.001  # 降低精度阈值

4. 过滤异常插值结果

插值完成后，可添加简单逻辑过滤明显不合理的角点。比如检查相邻Charuco角点的像素距离是否符合物理尺寸的投影范围，剔除偏差过大的点：

if charuco_corners is not None and len(charuco_corners) > 1:
    charuco_corners_np = np.squeeze(charuco_corners)
    # 计算相邻角点的像素距离
    pixel_dists = np.linalg.norm(charuco_corners_np[1:] - charuco_corners_np[:-1], axis=1)
    # 根据物理间距和相机内参估算理论投影距离（0.5为假设的平均深度，需根据实际场景调整）
    expected_dist = (0.075 * camera_matrix[0,0]) / 0.5
    # 保留偏差在30%以内的角点
    mask = np.abs(pixel_dists - expected_dist) / expected_dist < 0.3
    mask = np.concatenate([[True], mask])  # 补全第一个角点的过滤标记
    charuco_corners = charuco_corners[mask]
    charuco_ids = charuco_ids[mask]

完整优化代码 #

# 替换为你实际的相机标定参数
camera_matrix = np.array([[fx, 0, cx], [0, fy, cy], [0, 0, 1]], dtype=np.float32)
dist_coeffs = np.array([k1, k2, p1, p2, k3], dtype=np.float32)

board = cv2.aruco_CharucoBoard.create(8, 11, 0.075, 0.058, cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_5X5_250))

detection_params = cv2.aruco.DetectorParameters_create()
detection_params.cornerRefinementMethod = cv2.aruco.CORNER_REFINE_SUBPIX
detection_params.cornerRefinementMaxIterations = 30
detection_params.cornerRefinementMinAccuracy = 0.001

image_grayscale = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
corners, ids, rejected_points = cv2.aruco.detectMarkers(image_grayscale, board.dictionary, parameters=detection_params)

debug_image = image.copy()
if ids is not None:
    debug_image = cv2.aruco.drawDetectedMarkers(debug_image, corners, ids, borderColor=(0, 255, 0))
    
    if len(ids) >= 4:
        _, charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco(
            corners, ids, image_grayscale, board,
            cameraMatrix=camera_matrix, distCoeffs=dist_coeffs, 
            minMarkers=4
        )
        
        if charuco_corners is not None:
            # 过滤异常角点
            charuco_corners_np = np.squeeze(charuco_corners)
            pixel_dists = np.linalg.norm(charuco_corners_np[1:] - charuco_corners_np[:-1], axis=1)
            expected_dist = (0.075 * camera_matrix[0,0]) / 0.5  # 根据实际场景调整深度值
            mask = np.abs(pixel_dists - expected_dist) / expected_dist < 0.3
            mask = np.concatenate([[True], mask])
            charuco_corners = charuco_corners[mask]
            charuco_ids = charuco_ids[mask]
            
            debug_image = cv2.aruco.drawDetectedCornersCharuco(debug_image, charuco_corners, charuco_ids, (0, 0, 255))

fig = plt.figure()
plt.imshow(debug_image)
plt.pause(0.5)
plt.close()

内容的提问来源于stack exchange，提问作者Andrea Quattrini