基于Python实现双对角监控录像拼接与室内物体空间建图

依赖安装 #

直接装齐所有成熟稳定的生产可用组件即可：
pip install opencv-python opencv-contrib-python numpy torch ultralytics scipy

核心实现步骤 #

1. 一次性标定（固定摄像头仅需操作一次） #

这步是整个方案精度的核心，不要跳过：

• 单摄像头畸变校正：每个摄像头单独拍15张左右不同角度的棋盘格标定板照片，用cv2.calibrateCamera()计算各自的内参矩阵、畸变系数，先把广角/鱼眼镜头的桶形畸变消掉，不然后续坐标映射误差会非常大。
• 跨视角坐标对齐：对角部署的两个摄像头必然存在公共重叠视野，在公共区域的地面上贴3个以上不共线的固定彩色标记点，分别在两个摄像头的校正后画面里标记这些点的像素坐标，用cv2.findHomography()计算两个摄像头画面到自定义俯视平面的单应性矩阵——别硬做原始斜视角的画面拼接，直接把所有视角映射到等比例的房间俯视平面，出来的全域图没有透视变形，实用性高很多。俯视平面的画布可以按房间实际尺寸设置，比如1像素对应现实1cm，生成的图可以直接测算实际距离。
• 盲区预标记：在映射好的俯视画布上，手动圈出两个摄像头都覆盖不到的固定盲区位置，后续补全逻辑单独处理这些区域。

2. 视频流对齐与画面融合 #

• 帧同步：普通民用摄像头没有硬件同步的话，直接按视频帧的时间戳对齐，误差控制在100ms以内完全满足安防场景需求，对齐后逐帧处理即可。
• 逐帧融合逻辑：
  • 所有帧先做畸变校正，再通过提前算好的单应性矩阵warp到统一俯视画布上
  • 两个摄像头都覆盖的重叠区域：按距离摄像头光心的距离做加权融合，离哪个摄像头近，哪个摄像头的画面权重更高，避免出现重影
  • 单摄像头独有的覆盖区域：直接用对应摄像头的映射画面填充
  • 提前标记的固定盲区：初始填充半透明灰色占位，后续走补全逻辑

3. 跨摄像头目标匹配与物体分布地图生成 #

• 目标检测：直接用ultralytics自带的YOLOv8n预训练模型，轻量运行速度快，普通CPU就能实现实时推理，可检测人、宠物、常见家具家电等安防场景关心的目标。检测后取每个检测框的底部中心点（和地面接触的位置，映射到俯视平面误差最小），通过单应性矩阵转到统一坐标系。
• 跨镜ID匹配：公共区域里两个摄像头会拍到同一个目标，用匈牙利算法做匹配，匹配依据是统一坐标系下的位置距离、目标类别、YOLO输出的深层特征余弦相似度，避免同一个物体在全域图里重复标记。
• 分布地图维护：维护一个和俯视画布同尺寸的二维状态数组，连续30帧以上出现在固定位置的物体标记为静态障碍物（比如沙发、柜子），实时更新动态目标（人、移动物品）的位置，直接渲染就能生成实时物体分布地图。

4. 盲区补全（安防场景优先保证可靠性，不要生成虚构内容） #

• 固定结构盲区：比如被墙体、固定家具挡住的区域，提前录入该区域的固定物体布局，直接标记在静态物体层即可，不需要实时检测。
• 临时遮挡盲区：比如被移动的人/物体挡住的区域，用前后10帧的历史检测结果补全，比如前一帧该位置有个行李箱，这一帧被人挡住了就暂时保留行李箱的标记，等遮挡消失后再更新，绝对不要用生成式AI虚构盲区里的画面，安防场景下假内容比缺内容的风险大得多。
• 所有补全的区域在最终画面里保留半透明灰色遮罩，明确提示该区域为非实时检测内容，避免误导。

核心逻辑最小可运行代码 #

import cv2
import numpy as np
from ultralytics import YOLO

# 以下参数替换为你自己标定得到的结果
mtx1, dist1 = np.load("cam1_intrinsic.npy"), np.load("cam1_dist.npy")
mtx2, dist2 = np.load("cam2_intrinsic.npy"), np.load("cam2_dist.npy")
H_cam1_to_top = np.load("cam1_homography.npy")
H_cam2_to_top = np.load("cam2_homography.npy")
CANVAS_SHAPE = (800, 600)  # 对应房间实际尺寸8m*6m，1像素=1cm

# 加载检测模型
det_model = YOLO("yolov8n.pt")
# 打开两路录像文件
cap1 = cv2.VideoCapture("cam1_record.mp4")
cap2 = cv2.VideoCapture("cam2_record.mp4")

while cap1.isOpened() and cap2.isOpened():
    ret1, frame1 = cap1.read()
    ret2, frame2 = cap2.read()
    if not ret1 or not ret2:
        break
    # 畸变校正
    frame1_undist = cv2.undistort(frame1, mtx1, dist1)
    frame2_undist = cv2.undistort(frame2, mtx2, dist2)
    # 映射到俯视平面
    top_view1 = cv2.warpPerspective(frame1_undist, H_cam1_to_top, CANVAS_SHAPE)
    top_view2 = cv2.warpPerspective(frame2_undist, H_cam2_to_top, CANVAS_SHAPE)
    # 画面融合
    mask1 = top_view1.sum(axis=-1) > 0
    mask2 = top_view2.sum(axis=-1) > 0
    overlap_mask = mask1 & mask2
    fused_view = np.zeros((*CANVAS_SHAPE, 3), dtype=np.uint8)
    fused_view[mask1] = top_view1[mask1]
    fused_view[mask2 & ~mask1] = top_view2[mask2 & ~mask1]
    fused_view[overlap_mask] = cv2.addWeighted(top_view1[overlap_mask], 0.5, top_view2[overlap_mask], 0.5, 0)
    # 后续可在此处添加目标检测、跨镜匹配、盲区补全、分布地图渲染逻辑
    cv2.imshow("global_top_view", fused_view)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

cap1.release()
cap2.release()
cv2.destroyAllWindows()

避坑提醒 #

• 别直接用OpenCV自带的Stitcher类做拼接，那个接口是给同平面相邻视角拍的全景图设计的，两个对角斜视角的摄像头用它拼出来的画面畸变会非常夸张，完全没法用。
• 标定单应性矩阵的时候，标记点一定要贴在地面上，以地面为基准面做映射，所有物体的位置误差才能控制在可接受范围，选墙面当基准面会导致物体位置飘移。
• 如果需要做录像回溯，所有补全的内容一定要单独打标记存日志，不要和实时检测的内容混在一起，避免取证的时候出问题。

内容的提问来源于stack exchange，提问作者Katie