基于OpenCV与ArUco标记的透视校正问题：图像被裁剪至单个标记

问题分析 #

当前代码仅选取单个ArUco标记的四个角进行透视变换，导致输出仅为该标记的裁剪区域。要实现整张图像的透视校正，需要利用标记网格的四个角落标记来定义整个待校正平面的边界，而非单个标记的边界。

解决方案步骤 #

1. 检测图像中所有ArUco标记，获取每个标记的角点与ID
2. 定位网格的四个角落标记（通过位置判断：最左上、最右上、最右下、最左下）
3. 提取每个角落标记的对应顶点，组成整个平面的四个源点
4. 定义目标平面的尺寸与顶点（模拟正上方视角的网格大小）
5. 计算透视变换矩阵并应用到整张图像

修改后的完整代码 #

import cv2
import numpy as np

def detect_aruco_and_correct_perspective(image_path):
    # 加载图像
    image = cv2.imread(image_path)
    if image is None:
        print("无法加载图像")
        return None

    # 定义ArUco字典与检测器
    aruco_dictionary = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_4X4_250)
    aruco_parameters = cv2.aruco.DetectorParameters()
    detector = cv2.aruco.ArucoDetector(aruco_dictionary, aruco_parameters)

    # 检测所有ArUco标记
    corners, ids, rejected = detector.detectMarkers(image)

    if corners is None or len(corners) < 4:
        print("检测到的标记不足4个，无法进行整张图校正")
        return None

    # 将标记角点与ID配对
    marker_info = list(zip(corners, ids.flatten()))

    # 计算单个标记的中心坐标
    def get_marker_center(corner_set):
        corner_points = corner_set.reshape(4,2)
        return np.mean(corner_points, axis=0)

    # 获取所有标记的中心与ID
    marker_centers = [(get_marker_center(c), marker_id) for c, marker_id in marker_info]

    # 筛选四个角落的标记
    top_left_marker = min(marker_centers, key=lambda x: x[0][0] + x[0][1])
    top_right_marker = max(marker_centers, key=lambda x: x[0][0] - x[0][1])
    bottom_right_marker = max(marker_centers, key=lambda x: x[0][0] + x[0][1])
    bottom_left_marker = min(marker_centers, key=lambda x: x[0][0] - x[0][1])

    # 根据ID获取对应标记的角点
    def get_corner_by_id(target_id):
        for c, marker_id in marker_info:
            if marker_id == target_id:
                return c.reshape(4,2)
        return None

    top_left_corners = get_corner_by_id(top_left_marker[1])
    top_right_corners = get_corner_by_id(top_right_marker[1])
    bottom_right_corners = get_corner_by_id(bottom_right_marker[1])
    bottom_left_corners = get_corner_by_id(bottom_left_marker[1])

    # 提取每个角落标记的对应顶点，组成整个平面的源点
    src_top_left = min(top_left_corners, key=lambda x: x[0]+x[1])
    src_top_right = max(top_right_corners, key=lambda x: x[0]-x[1])
    src_bottom_right = max(bottom_right_corners, key=lambda x: x[0]+x[1])
    src_bottom_left = min(bottom_left_corners, key=lambda x: x[0]-x[1])

    src_points = np.array([src_top_left, src_top_right, src_bottom_right, src_bottom_left], dtype=np.float32)

    # 定义目标图像尺寸（可根据实际网格大小调整）
    target_width = 1200
    target_height = 900
    dst_points = np.array([
        [0, 0],
        [target_width-1, 0],
        [target_width-1, target_height-1],
        [0, target_height-1]
    ], dtype=np.float32)

    # 计算透视变换矩阵并应用到整张图像
    perspective_matrix = cv2.getPerspectiveTransform(src_points, dst_points)
    transformed_image = cv2.warpPerspective(image, perspective_matrix, (target_width, target_height))

    return transformed_image

# 调用函数并显示结果
transformed_img = detect_aruco_and_correct_perspective('Impacto24_OpenCV-Testings\\v1\\venv\\SampleData\\untitled7.png')
if transformed_img is not None:
    cv2.imshow('校正后图像', transformed_img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
else:
    print('未检测到足够的ArUco标记或图像加载失败')

关键代码解释 #

1. 标记检测与配对：使用ArucoDetector检测所有标记，并将角点与ID绑定，方便后续筛选操作。
2. 角落标记定位：通过标记中心坐标的x+y、x-y值，快速筛选出网格四个角落的标记。
3. 源点提取：从每个角落标记中提取对应顶点，组成整个待校正平面的边界点，确保变换覆盖整张图像。
4. 目标尺寸设置：可根据实际网格的物理尺寸或需求，自定义输出图像的宽高，保证校正后比例合适。
5. 透视变换应用：将计算得到的变换矩阵应用到整张输入图像，得到正上方视角的完整校正结果。

内容的提问来源于stack exchange，提问作者Udara Sampath