求助：基于Python OpenCV用单应性矩阵实时拼接摄像头帧生成地图

嗨，你已经搞定了特征匹配和单应性矩阵求解这两个核心步骤，接下来的帧拼接其实就是把当前帧通过单应矩阵投影到全局地图的坐标系里，然后合并成更大的画布。我帮你梳理下具体实现逻辑，还会修正你代码里的几个小问题~

先理清单应矩阵的变换方向 #

你当前代码里cv2.findHomography(src_pts, dst_pts)中，src_pts是前一帧的关键点，dst_pts是当前帧的关键点，得到的矩阵M是前一帧到当前帧的变换（即dst_pts = M * src_pts，齐次坐标下）。但我们要把当前帧拼接到前一帧（或全局地图）上，需要的是当前帧到前一帧的变换矩阵，所以应该交换src_pts和dst_pts的位置，也就是：

M, mask = cv2.findHomography(dst_pts, src_pts, cv2.RANSAC, 5.0)

这样得到的M就能把当前帧的点映射到前一帧的坐标系中。

帧拼接的核心步骤 #

1. 验证单应矩阵有效性：如果M为None，说明匹配点太少，无法完成拼接，直接返回当前地图或原帧。
2. 计算变换后图像的边界：把当前帧的四个角点通过M变换，找到变换后所有点的最小/最大坐标，确定拼接后画布的尺寸（避免图像被裁剪）。
3. 透视变换当前帧：用cv2.warpPerspective把当前帧投影到全局地图的坐标系。
4. 合并图像：把投影后的当前帧和全局地图（初始为第一帧）合并，重叠区域可以选择直接覆盖或取平均（根据需求调整）。

修改后的完整代码示例 #

import cv2
import numpy as np

# 维护全局地图变量，初始为None
global_map = None

def stitch_frames(current_frame, previous_frame):
    # 转为灰度图用于特征检测
    current_gray = cv2.cvtColor(current_frame, cv2.COLOR_BGR2GRAY)
    previous_gray = cv2.cvtColor(previous_frame, cv2.COLOR_BGR2GRAY)
    
    orb = cv2.ORB_create()
    kpts1, descs1 = orb.detectAndCompute(previous_gray, None)
    kpts2, descs2 = orb.detectAndCompute(current_gray, None)
    
    # BF匹配
    bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
    matches = bf.match(descs1, descs2)
    # 按匹配距离排序，取前N个优质匹配
    dmatches = sorted(matches, key=lambda x: x.distance)[:50]
    
    # 提取匹配点对
    src_pts = np.float32([kpts1[m.queryIdx].pt for m in dmatches]).reshape(-1, 1, 2)
    dst_pts = np.float32([kpts2[m.trainIdx].pt for m in dmatches]).reshape(-1, 1, 2)
    
    # 求解当前帧到前一帧的单应矩阵
    M, mask = cv2.findHomography(dst_pts, src_pts, cv2.RANSAC, 5.0)
    if M is None:
        print("无法求解有效单应矩阵，跳过拼接")
        return previous_frame
    
    h_current, w_current = current_frame.shape[:2]
    h_previous, w_previous = previous_frame.shape[:2]
    
    # 计算当前帧变换后的四个角点
    current_corners = np.float32([[0,0], [0,h_current-1], [w_current-1,h_current-1], [w_current-1,0]]).reshape(-1,1,2)
    transformed_corners = cv2.perspectiveTransform(current_corners, M)
    
    # 合并前一帧和变换后角点的坐标，计算画布的边界
    all_corners = np.vstack((transformed_corners, np.float32([[0,0], [0,h_previous-1], [w_previous-1,h_previous-1], [w_previous-1,0]]).reshape(-1,1,2)))
    [x_min, y_min] = np.int32(all_corners.min(axis=0).ravel() - 0.5)
    [x_max, y_max] = np.int32(all_corners.max(axis=0).ravel() + 0.5)
    
    # 计算平移矩阵，确保变换后的图像不会有负坐标
    translation = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]], dtype=np.float32)
    M_translated = translation @ M
    
    # 创建足够大的画布
    canvas_width = x_max - x_min
    canvas_height = y_max - y_min
    canvas = np.zeros((canvas_height, canvas_width, 3), dtype=np.uint8)
    
    # 把前一帧画到画布的对应位置
    canvas[-y_min : h_previous - y_min, -x_min : w_previous - x_min] = previous_frame
    
    # 把当前帧透视变换后画到画布
    warped_current = cv2.warpPerspective(current_frame, M_translated, (canvas_width, canvas_height))
    
    # 合并画布和变换后的当前帧（重叠区域取非零值，优先保留原地图）
    mask_warped = (warped_current > 0).astype(np.uint8)
    canvas = cv2.bitwise_or(canvas, warped_current, mask=mask_warped)
    
    # 可选：显示匹配结果
    res = cv2.drawMatches(previous_frame, kpts1, current_frame, kpts2, dmatches[:20], None, flags=2)
    cv2.imshow("orb_match", res)
    
    return canvas

# 实时采集示例（假设你已经有摄像头读取逻辑）
cap = cv2.VideoCapture(0)
ret, previous_frame = cap.read()
global_map = previous_frame.copy()

while True:
    ret, current_frame = cap.read()
    if not ret:
        break
    
    # 更新全局地图
    global_map = stitch_frames(current_frame, global_map)
    
    cv2.imshow("实时地图", global_map)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

关键细节说明 #

• 全局地图维护：用global_map变量累积每次拼接后的结果，而不是只拼接相邻两帧，这样才能生成完整的地图。
• 画布尺寸计算：通过变换后的角点和原帧角点的边界，确保画布足够大，不会裁剪掉变换后的图像。
• 平移矩阵：因为变换后的图像可能出现负坐标，所以用平移矩阵把所有坐标移到正区域，避免图像被截断。
• 重叠区域处理：示例中用cv2.bitwise_or保留非零区域，你也可以改成取平均（比如canvas = cv2.addWeighted(canvas, 0.5, warped_current, 0.5, 0)）来让重叠区域过渡更自然。

内容的提问来源于stack exchange，提问作者Stelios Neophytides