OpenCV Stitcher忽略新增图像，如何将新图融入无原图的全景图？

问题背景 #

• 仅持有一张无原始素材的全景图
• 有一张较小的新增图像，与全景图某区域匹配（需做变形、尺寸调整），包含需整合进全景图的新元素
• 当前尝试的方法：将全景图切割为多张重叠图像，与新增图像一同拼接，但新增图像始终未出现在结果中

复现代码 #

import cv2
from empatches import EMPatches

pano_img = cv2.imread('pano.jpg')
pano_height = pano_img.shape[0]
new_img = cv2.imread('new.jpg')

# 使用EMPatches提取重叠图像，此部分功能正常
# img_patches为可用于OpenCV的np.array列表
emp = EMPatches()
img_patches, _ = emp.extract_patches(pano_img, pano_height, overlap=0.4)

img_patches.append(new_img)

stitcher = cv2.Stitcher_create()
status, output = stitcher.stitch(img_patches)
# 返回状态码0，输出为完整的原始全景图，新增图像被忽略

环境信息 #

使用OpenCV版本：4.7.0.72，通过pip install opencv-python安装

相关图像 #

全景图：

新增图像：

核心疑问 #

由于不知道新增图像在全景图中的具体位置，无法调整img_patches列表顺序，如何让OpenCV生成包含新增图像的全景图？

解决方案 #

1. 自动定位新增图像在全景图中的对应区域 #

通过特征匹配获取新增图像与全景图的变换关系，无需提前知道位置：

import cv2
import numpy as np

# 转为灰度图以提取特征
pano_gray = cv2.cvtColor(pano_img, cv2.COLOR_BGR2GRAY)
new_gray = cv2.cvtColor(new_img, cv2.COLOR_BGR2GRAY)

# 使用SIFT检测特征点与描述符
sift = cv2.SIFT_create()
kp_pano, des_pano = sift.detectAndCompute(pano_gray, None)
kp_new, des_new = sift.detectAndCompute(new_gray, None)

# FLANN匹配器快速匹配特征
flann_index = 1
index_params = dict(algorithm=flann_index, trees=5)
search_params = dict(checks=50)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des_new, des_pano, k=2)

# 筛选优质匹配点（Lowe比率测试）
good_matches = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good_matches.append(m)

# 获取匹配点坐标并计算单应性矩阵（变换关系）
src_pts = np.float32([kp_new[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([kp_pano[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
M, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

2. 变形新增图像并融合到全景图 #

无需重新拼接全景图，直接将变形后的新增图像融合到对应区域：

# 获取全景图尺寸
h_pano, w_pano = pano_img.shape[:2]

# 对新增图像做透视变换，匹配全景图的视角与尺寸
warped_new = cv2.warpPerspective(new_img, M, (w_pano, h_pano))

# 创建融合掩码，仅保留新增图像的有效区域
mask = np.ones(new_img.shape[:2], dtype=np.uint8) * 255
warped_mask = cv2.warpPerspective(mask, M, (w_pano, h_pano))

# 方式1：直接替换全景图对应区域
result = cv2.bitwise_and(pano_img, pano_img, mask=cv2.bitwise_not(warped_mask))
result = cv2.bitwise_or(result, warped_new)

# 方式2：加权融合（更自然，可调整权重参数）
# result = cv2.addWeighted(pano_img, 0.8, warped_new, 0.2, 0)

3. 原方法无效的原因 #

OpenCV的Stitcher模块在处理大量全景图切割块时，会优先拼接出完整的原始全景。新增图像与这些块的匹配关系被淹没，Stitcher认为已有足够图像生成完整结果，因此忽略了新增图像。直接定位融合的方式更高效，且能确保新增内容被纳入。

内容的提问来源于stack exchange，提问作者8192K