基于块匹配的视差匹配算法：副图像对应像素查找方法咨询

你提到的这个问题是块匹配视差算法里最核心的环节之一，其实不用上来就折腾复杂的特征匹配——很多经典的块匹配方法本身就足够直接有效，下面给你拆解几种常用的思路：

一、最简便的块相似度计算方法（无需特征匹配） #

这些方法直接基于窗口内的像素值做比对，完全不用额外的特征提取，适合快速实现：

• 绝对误差和（SAD）：这是最入门的方法——对参考图像窗口和待匹配的副图像窗口中每个对应像素的灰度值差取绝对值，然后求和。公式是 SAD = Σ|I₁(x,y) - I₂(x+d,y)|，其中d是视差候选值。你可以设定一个阈值，当SAD低于阈值时就认为匹配成功；或者直接在所有候选视差里选SAD最小的那个对应的窗口，就是匹配块。
• 平方误差和（SSD）：和SAD类似，只是把绝对值换成平方，公式是 SSD = Σ(I₁(x,y) - I₂(x+d,y))²。这种方法对大误差的惩罚更重，能更精准地排除差异大的块，计算量和SAD差不多。
• 归一化互相关（NCC）：如果图像存在亮度差异（比如左右曝光不一致），前面两种方法就容易失效。NCC会先对窗口内的像素做归一化，计算两个窗口的相关性，取值范围在[-1,1]，越接近1说明匹配度越高。公式是 NCC = [Σ(I₁-μ₁)(I₂-μ₂)] / (σ₁σ₂)，其中μ是窗口均值，σ是标准差。

二、要不要用特征匹配？ #

如果你的场景存在大视差、纹理缺失、重复纹理这些棘手情况，单纯的块匹配容易出现误匹配，这时候可以结合特征匹配来优化：

• 比如先在参考图像里提取SIFT、ORB这类局部特征，找到副图像里的对应特征点，以此为锚点缩小块匹配的搜索范围（不用全图搜，只在特征点附近的小区域找），这样既能提高准确率，又能减少计算量。
• 但如果是普通的场景（比如纹理丰富的户外图像、常规的双目视觉采集），上面的基础块匹配方法完全够用，没必要引入复杂的特征匹配——毕竟特征提取会增加额外的计算成本，而且块匹配本身就是为了简便高效设计的。

三、其他优化小技巧 #

• 搜索策略优化：不用对每个像素都遍历所有可能的视差范围，可以用动态规划（比如SGM算法里的路径代价累积）或者金字塔分层匹配（先在低分辨率图像上找大致视差，再到高分辨率上细化），能大幅减少计算量。
• 窗口自适应：固定尺寸的窗口在纹理稀疏区域容易出错，可以根据局部纹理密度调整窗口大小——比如纹理少的地方用大窗口，纹理多的地方用小窗口。

内容的提问来源于stack exchange，提问作者user9561223