基于SHA-512的图片重复检测失效问题求助

现有实现（SHA-512哈希） #

当前采用加密哈希算法检测重复图片，代码如下：

try {
    MessageDigest messageDigest = MessageDigest.getInstance("SHA-512");
    FileInputStream fi = new FileInputStream(file);
    byte fileData[] = new byte[(int) file.length()];
    fi.read(fileData);
    fi.close();
    return new BigInteger(1, messageDigest.digest(fileData)).toString(16);
}
catch (Exception e) {
    throw new RuntimeException("cannot read file " + file.getAbsolutePath(), e);
}

现有方案的局限性 #

• 仅能识别字节完全一致的文件，无法检测内容相似但文件大小略有差异的图片（例如两张视觉内容几乎相同、大小分别为195KB和196KB的图片）
• 存在部分图片的尺寸、色彩配置、分辨率等视觉属性完全一致，但SHA-512哈希值却不同的情况（因涉及肖像授权无法提供示例）

问题根源 #

SHA-512属于加密哈希算法，对文件字节的微小变化极度敏感——哪怕是一个字节的差异，都会导致哈希值完全不同：

1. 相似图片的字节差异（如压缩参数微调、轻微裁剪、水印修改）会直接改变哈希结果
2. 视觉属性一致但哈希不同的情况，通常是图片包含的元数据（EXIF信息、ICC配置文件、注释等）不同，这些元数据不影响视觉内容，但会改变文件字节，进而导致哈希值变化

优化方案：感知哈希（Perceptual Hash） #

感知哈希基于图片的视觉内容计算哈希值，能容忍微小的视觉变化，相似图片的哈希值也会相近。常用的感知哈希算法包括pHash、dHash、aHash，以下以dHash为例说明实现思路：

简化版dHash实现 #

import java.awt.image.BufferedImage;
import java.io.File;
import java.math.BigInteger;
import javax.imageio.ImageIO;

public class PerceptualHash {
    public static String dHash(File file) throws Exception {
        // 1. 将图片缩转为8x8灰度图，提取核心视觉特征
        BufferedImage originalImg = ImageIO.read(file);
        BufferedImage grayImg = new BufferedImage(8, 8, BufferedImage.TYPE_BYTE_GRAY);
        grayImg.getGraphics().drawImage(originalImg.getScaledInstance(8, 8, BufferedImage.SCALE_SMOOTH), 0, 0, null);
        
        // 2. 计算相邻像素的灰度差异
        StringBuilder hashBinary = new StringBuilder();
        int prevPixel = grayImg.getRGB(0, 0) & 0xFF;
        for (int y = 0; y < 8; y++) {
            for (int x = 0; x < 8; x++) {
                int currPixel = grayImg.getRGB(x, y) & 0xFF;
                if (x != 0) { // 横向对比相邻像素
                    hashBinary.append(currPixel > prevPixel ? "1" : "0");
                }
                prevPixel = currPixel;
            }
        }
        
        // 3. 将二进制哈希转为十六进制，缩短输出长度
        return new BigInteger(hashBinary.toString(), 2).toString(16);
    }
}

相似性判断 #

计算两个感知哈希的汉明距离（二进制字符串中差异位的数量），通常汉明距离小于5时，即可判定为相似图片。

解决元数据干扰问题 #

如果需要忽略元数据的影响，不要直接读取整个文件字节，而是通过图片处理库（如ImageIO）读取像素数据，跳过文件中的元数据部分，仅基于视觉内容计算哈希。

工具类推荐 #

如果不想自行实现感知哈希，可以使用成熟的开源库简化开发：

• Apache Commons Imaging：支持图片元数据处理与感知哈希计算
• Phash：专门的感知哈希实现库
• ImageJ：图像处理工具包，可用于提取视觉特征

内容的提问来源于stack exchange，提问作者zaxunobi