基于OpenCV与ChArUco标记匹配不同鱼眼相机拍摄的图像

最优实现方式 #

利用ChArUco板的精确3D世界坐标与双相机的2D像素对应关系，求解**单应性矩阵（Homography）**或相机外参转换，实现像素坐标的精准映射，步骤如下：

1. 提取ChArUco角点与ID #

对两台相机拍摄的含ChArUco板的图像，分别检测ArUco标记并插值得到ChArUco角点的像素坐标及对应ID：

• 加载预先定义的ChArUco板参数（棋盘格尺寸、方格/标记物理大小）；
• 用cv2.aruco.detectMarkers检测图像中的ArUco标记；
• 调用cv2.aruco.interpolateCornersCharuco生成ChArUco角点的像素坐标集合，需确保两张图像中存在至少4对相同ID的匹配角点。

2. 求解像素坐标转换矩阵 #

由于ChArUco板处于同一平面，直接用匹配的角点对求解单应性矩阵是最高效的方案：

• 匹配左右图像中ID相同的ChArUco角点，得到两组一一对应的像素坐标集合；
• 用cv2.findHomography（启用RANSAC鲁棒算法）计算右相机像素到左相机像素的单应性矩阵H。

3. 像素坐标映射与验证 #

• 对任意右图像的像素点(x,y)，通过矩阵运算[x', y', 1]^T = H * [x, y, 1]^T，归一化后得到左图像的对应像素坐标；
• 用额外的ChArUco角点或特征点验证映射精度，计算重投影误差，确保结果可靠。

能否用ChArUco图像替代手动对齐？ #

完全可以，这是最优替代方案，优势如下：

• 精度远高于手动对齐，避免人为标记误差；
• 全程可自动化处理，无需手动选点；
• 基于ChArUco的精确3D-2D对应关系，映射结果稳定、可重复。

关键代码示例 #

import cv2
import numpy as np

# 1. 定义ChArUco板参数（根据实际板调整）
aruco_dict = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_6X6_250)
# 棋盘格(7,5)，方格物理尺寸0.04m，ArUco标记尺寸0.02m
charuco_board = cv2.aruco.CharucoBoard((7, 5), 0.04, 0.02, aruco_dict)

# 2. 检测ChArUco角点函数
def get_charuco_corners(image, board):
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    marker_corners, marker_ids, _ = cv2.aruco.detectMarkers(gray, board.dictionary)
    if len(marker_corners) == 0:
        return None, None
    charuco_corners, charuco_ids = cv2.aruco.interpolateCornersCharuco(
        marker_corners, marker_ids, gray, board
    )
    return charuco_corners, charuco_ids

# 3. 读取图像并检测角点
left_img = cv2.imread("left_charuco.jpg")
right_img = cv2.imread("right_charuco.jpg")

left_corners, left_ids = get_charuco_corners(left_img, charuco_board)
right_corners, right_ids = get_charuco_corners(right_img, charuco_board)

# 4. 匹配相同ID的角点
left_matched = []
right_matched = []
if left_ids is not None and right_ids is not None:
    left_ids_flat = left_ids.flatten()
    right_ids_flat = right_ids.flatten()
    for idx, charuco_id in enumerate(left_ids_flat):
        right_idx = np.where(right_ids_flat == charuco_id)[0]
        if len(right_idx) > 0:
            left_matched.append(left_corners[idx].flatten())
            right_matched.append(right_corners[right_idx[0]].flatten())

# 5. 求解单应性矩阵
H = None
if len(left_matched) >= 4:
    left_matched_np = np.array(left_matched, dtype=np.float32)
    right_matched_np = np.array(right_matched, dtype=np.float32)
    H, _ = cv2.findHomography(right_matched_np, left_matched_np, cv2.RANSAC, 5.0)

# 6. 像素坐标映射示例
if H is not None:
    # 右图像某像素点转换到左图像
    right_pt = np.array([[300, 400]], dtype=np.float32)
    left_pt = cv2.perspectiveTransform(right_pt[None, :, :], H)[0][0]
    print(f"右图像(300,400)对应左图像坐标：({left_pt[0]:.2f}, {left_pt[1]:.2f})")

内容的提问来源于stack exchange，提问作者beansdetection