基于OpenCV与FFT的平移缩放不变图像相似度计算咨询

1. 普通FFT方案的适配性结论 #

仅使用原生FFT幅度谱无法同时满足平移、缩放、同旋转方向的匹配要求。
普通FFT的幅度谱天然具备平移不变性：空间域的图像位置偏移只会改变频域相位信息，幅度谱不会发生任何变化，这部分特性可以覆盖位置偏移容忍需求。但普通FFT幅度谱对缩放、旋转没有不变性：空间域图像缩放k倍时，频域幅度谱会对应缩放1/k倍、幅度值成比例变化；空间域图像旋转θ角时，频域幅度谱会同步旋转θ角，直接拿原始幅度谱计算相似度，无法匹配缩放、角度有偏差的同类样本。之前出现的纯黑背景相似度虚高问题，本质是FFT幅度谱中直流/低频分量占比过高，纯黑图像的低频分布和有效样本接近，才会出现误判。

2. 基于FFT扩展方案的相似度量化方法 #

已经完成基础FFT幅度谱计算的前提下，扩展为傅里叶-梅林变换流程即可实现符合要求的匹配，具体步骤：

• 预处理幅度谱：对FFT幅度谱做高通滤波，直接将幅度谱中心10%半径范围内的低频区域（包含直流分量和大部分背景噪声）置零，从根源解决纯黑背景相似度虚高的问题。
• 坐标域转换：将滤波后的笛卡尔坐标系幅度谱转换为对数极坐标系。转换后，原图像的缩放变化会映射为对数极坐标上对数半径轴的平移，旋转变化会映射为角度轴的平移。
• 相位相关计算相似度：对两张待匹配图像的对数极坐标频谱做相位相关运算，取响应峰值：
  • 若峰值低于0.3~0.5区间的预设阈值（需根据自有样本集校准），直接判定为不相似
  • 结合场景要求旋转方向一致，若相位相关计算得到的旋转角度差大于5°（可根据精度需求调整），无论峰值多高均判定为不相似
  • 符合上述两个校验条件的样本，将峰值做线性映射即可得到百分比相似度：峰值1对应100%相似，阈值点对应0%相似。

3. 无机器学习依赖的替代方案 #

如果傅里叶-梅林变换调参成本过高，以下传统CV方案均可满足需求：

• Hu矩匹配：对预处理后的二值图像提取7个Hu不变矩，该组矩天然具备平移、缩放不变性，计算两个矩向量的余弦距离即可换算为相似度。额外增加轮廓主轴方向校验，即可保证旋转方向一致。该方案计算速度极快，对干净背景下的形状匹配适配性很好。
• 归一化轮廓匹配：先对图像做二值化，提取动作区域的外轮廓，将轮廓质心平移到统一坐标点，按轮廓外接矩形尺寸等比例缩放归一化到统一尺寸，调用cv2.matchShapes()计算两个轮廓的匹配距离，距离越小相似度越高。同样增加主轴方向校验保证旋转方向一致即可，该方案逻辑简单，调参成本低。
• ORB特征匹配：对两张图像提取ORB特征点，做暴力匹配后通过RANSAC算法筛选内点，计算内点占比：若内点占比高于阈值，且单应性矩阵对应的缩放比例在手部动作的合理范围（通常0.2~5倍，对应手离摄像头的远近差）、旋转角度接近0，即可将内点占比换算为相似度。该方案对局部轻微形变的容忍度更高。

内容的提问来源于stack exchange，提问作者Bonsai Noodle