基于Python的错位相似2D图纸差异检测与标记方案咨询

我正在开发一个用于对比2D图纸或图纸视图的程序，这些视图可能在图纸中存在轻微位置偏移。目前用SSIM和OpenCV实现的程序，当视图发生轻微偏移时会被判定为完全不同的视图。另外还需要支持对比Windows截图工具矩形模式截取的不同尺寸、比例的截图。

示例输入 #

• IMAGE_1
• IMAGE_2

预期结果 #

• IMAGE_1 - 预期结果
• IMAGE_2 - 预期结果

现有代码（仅支持视图位置完全相同的图纸对比） #

from skimage.metrics import structural_similarity
import cv2
import numpy as np


# 加载图像
before = cv2.imread('im1.jpg')
after = cv2.imread('im2.jpg')

# 转换为灰度图
before_gray = cv2.cvtColor(before, cv2.COLOR_BGR2GRAY)
after_gray = cv2.cvtColor(after, cv2.COLOR_BGR2GRAY)

# 计算两张图的SSIM
(score, diff) = structural_similarity(before_gray, after_gray, full=True)
print("图像相似度: {:.4f}%".format(score * 100))

# 差异图是[0,1]范围的浮点型，转换为[0,255]的8位无符号整数才能用于OpenCV
diff = (diff * 255).astype("uint8")
diff_box = cv2.merge([diff, diff, diff])

# 阈值处理差异图，然后查找轮廓获取两张图的差异区域
thresh = cv2.threshold(diff, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]
contours = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
contours = contours[0] if len(contours) == 2 else contours[1]

mask = np.zeros(before.shape, dtype='uint8')
filled_after = after.copy()

for c in contours:
    area = cv2.contourArea(c)
    if area > 40:
        x,y,w,h = cv2.boundingRect(c)
        cv2.rectangle(before, (x, y), (x + w, y + h), (36,255,12), 2)
        cv2.rectangle(after, (x, y), (x + w, y + h), (36,255,12), 2)

cv2.imwrite('before', before)
cv2.imwrite('after', after)
cv2.waitKey()

解决思路 #

1. 处理轻微位置偏移的匹配 #

• 特征点匹配对齐：用OpenCV的SIFT、ORB这类特征检测算法，提取两张图的特征点并计算描述符，通过匹配器（比如FLANN）找到匹配对，筛选优质匹配后计算变换矩阵，把其中一张图透视变换对齐到另一张图的坐标系，再用SSIM对比。这是最靠谱的方案，能应对平移、旋转、轻微缩放的偏移。
• 滑动窗口对比（简易版）：如果觉得特征点太复杂，可以在小范围内滑动其中一张图，计算每个位置的SSIM得分，取最高值作为相似性结果，但效率较低，只适合小尺寸图纸。

2. 处理不同尺寸、比例的截图对比 #

• 统一尺寸预处理：先把两张图缩放到相同尺寸，缩放时保持比例，空白区域用图纸背景色（比如白色）填充；或者先通过阈值分割提取图纸的有效区域，只对有效区域进行缩放对齐。
• 尺度不变特征匹配：SIFT、ORB本身具备尺度不变性，在特征匹配阶段就能自动适配不同比例的图像，对齐后再做差异检测即可。

代码优化步骤 #

1. 先添加图像对齐模块，把对齐后的图像作为输入传入原有的SSIM对比流程。
2. 针对尺寸差异，先做尺度归一化或者直接用尺度不变特征匹配。
3. 对齐完成后，再运行原代码中的轮廓检测和差异标记逻辑，就能得到正确的差异框。

内容的提问来源于stack exchange，提问作者garbul