如何用Python以单应性形式叠加图像实现篮球场地动态追踪？

需求背景 #

需要通过单应性变换将篮球场实拍图像叠加到2D图纸图像上，以此降低噪声、减少计算负载，实现视频中篮球场地的动态追踪，并以此为基础追踪场内球员。当前已基于模板匹配实现区域追踪，需升级为单应性叠加方案。

当前实现代码（模板匹配追踪） #

import numpy as np
import cv2
from skimage.io import imread, imshow, imsave
import matplotlib.pyplot as plt
from matplotlib.patches import Circle, Rectangle
from skimage import transform
from skimage.color import rgb2gray
from skimage.feature import match_template
from skimage.feature import peak_local_max
import glob
import os
from natsort import natsorted 

def track_camera(image_path, num, path='./cam_trackings/'):
    reference_image = imread("full-court.jpg")
    reference_image_gray = rgb2gray(reference_image)

    template = rgb2gray(imread(image_path))

    result = match_template(reference_image_gray, template)

    x, y = np.unravel_index(np.argmax(result), result.shape)
    template_width, template_height = template.shape
    rect = plt.Rectangle((y, x), template_height, template_width, 
                    color='r', fc='none')
    plt.figure(num=None, figsize=(8, 6), dpi=80)
    plt.gca().add_patch(rect)
    imshow(reference_image_gray);
    plt.savefig(path+'cam_tracking'+str(num)+'.png')
    plt.close()

当前输出效果 #

已在2D图纸参考图上用红色矩形框标记出匹配到的篮球场区域。

单应性图像叠加实现方案 #

核心步骤 #

• 特征点匹配：在2D图纸（参考图）和篮球场实拍图（目标图）中检测并匹配特征点，为单应矩阵计算提供基础。
• 单应矩阵求解：利用匹配特征点对，通过RANSAC算法过滤异常点，求解精准的单应性变换矩阵。
• 图像变换与叠加：将实拍图通过单应矩阵变换到参考图坐标系，再通过加权融合实现图像叠加。
• 动态追踪适配：对视频每一帧重复上述流程，实时更新单应矩阵，实现场地的动态追踪。

代码实现示例 #

import numpy as np
import cv2

def homography_overlay(reference_path, target_path, output_path):
    # 读取图像
    ref_img = cv2.imread(reference_path)
    target_img = cv2.imread(target_path)
    ref_gray = cv2.cvtColor(ref_img, cv2.COLOR_BGR2GRAY)
    target_gray = cv2.cvtColor(target_img, cv2.COLOR_BGR2GRAY)

    # 检测SIFT特征点
    sift = cv2.SIFT_create()
    kp_ref, des_ref = sift.detectAndCompute(ref_gray, None)
    kp_target, des_target = sift.detectAndCompute(target_gray, None)

    # 匹配特征点并筛选优质匹配
    bf = cv2.BFMatcher()
    matches = bf.knnMatch(des_ref, des_target, k=2)
    good_matches = []
    for m, n in matches:
        if m.distance < 0.75 * n.distance:
            good_matches.append(m)

    # 计算单应矩阵（RANSAC过滤异常值）
    if len(good_matches) > 4:
        src_pts = np.float32([kp_ref[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
        dst_pts = np.float32([kp_target[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
        H, mask = cv2.findHomography(dst_pts, src_pts, cv2.RANSAC, 5.0)

        # 变换目标图到参考图坐标系
        h, w = ref_img.shape[:2]
        warped_target = cv2.warpPerspective(target_img, H, (w, h))

        # 加权叠加融合图像
        overlay = cv2.addWeighted(ref_img, 0.5, warped_target, 0.5, 0)

        # 保存结果
        cv2.imwrite(output_path, overlay)
        return overlay, H
    else:
        raise ValueError("匹配特征点数量不足，无法计算单应矩阵")

# 调用示例（替换为实际路径）
# overlay_img, homography_matrix = homography_overlay("2D图纸.jpg", "篮球场实拍.jpg", "叠加结果.jpg")

方案优势 #

• 相比模板匹配，单应性变换能适应视角变化，追踪稳定性更强
• 叠加后可借助参考图的结构化信息降低噪声，减少后续球员追踪的计算负载
• RANSAC算法可有效过滤光照、遮挡带来的异常匹配点，提升鲁棒性

内容的提问来源于stack exchange，提问作者Varun S V