SQL Server中演示文稿幻灯片图片存储比对及去重方案咨询

不同演示文稿相同幻灯片无法识别重复的根因 #

• 即使幻灯片的视觉内容完全一致，从不同演示文稿导出图片时，生成的图片文件会携带差异化的元信息：包括导出时间戳、源演示文稿的内部唯一标识、导出工具的版本参数、动态压缩参数等。这些不影响视觉内容的差异，会直接导致图片的二进制数据、对应的base64编码完全不同，直接比对整段数据自然无法识别重复。

内容级重复检测的实现方案 #

不要直接比对完整图片的二进制或编码数据，改用感知哈希算法生成图片的特征指纹后比对：

• 幻灯片场景优先选择dHash（差异哈希）算法，对内容差异敏感，但可以忽略元数据、微小压缩差异、轻微亮度/尺寸变化带来的干扰，相同视觉内容的幻灯片生成的哈希值高度一致。
• 比对时计算两个哈希值的汉明距离即可，通常汉明距离≤5即可判定为内容重复，阈值可以根据业务场景调整。
• 建议在导出幻灯片图片的业务层计算哈希值，不需要在数据库侧执行计算，降低数据库压力。

SQL中图片相关数据的最优存储方案 #

用于重复比对的特征数据 #

直接存储计算得到的感知哈希值即可：

• 64位dHash可以用BIGINT类型存储，128位哈希可以用BINARY(16)或VARCHAR(32)存储，单条数据占用空间极小，比对效率远高于整图比对，支持百万级数据的毫秒级查询。

需存储原图备份的场景 #

优先选择VARBINARY(MAX)类型（即你提到的Byte[]格式），相比base64优势显著：

• 存储空间比base64少33%左右：base64是二进制数据的文本编码，会额外增加存储开销。
• 不需要额外的编解码操作，读写效率更高。
• 不建议在SQL层执行整图比对操作，整图比对的IO和计算开销极大，仅适合同文件的精确比对，不适合内容级重复检测场景。

内容的提问来源于stack exchange，提问作者Umang Pandya