无法用哈希法精准去重图像，求仅识别完全相同图像的技术方案

针对你需要区分完全相同图像和相似但不同图像的需求，且不想使用深度学习方案，以下两种轻量级方法可以精准解决问题：

1. 文件哈希校验（适用于文件层面完全一致的图像） #

完全相同的图像文件（像素内容+元数据均无差异）的哈希值（如MD5、SHA-256）绝对一致，该方法能100%避免相似图像的误判，且实现简单。

示例代码（Python） #

import hashlib

def calculate_file_hash(file_path, hash_algorithm='md5'):
    hash_func = hashlib.new(hash_algorithm)
    with open(file_path, 'rb') as f:
        while chunk := f.read(4096):
            hash_func.update(chunk)
    return hash_func.hexdigest()

# 使用方式：计算两个图像的哈希值，对比是否相等
hash1 = calculate_file_hash("image1.png")
hash2 = calculate_file_hash("image2.png")
is_identical = hash1 == hash2

2. 像素级哈希校验（适用于像素相同但元数据/格式不同的图像） #

如果图像像素完全一致，但因保存格式、元数据（如EXIF信息）不同导致文件哈希不同，可直接基于像素内容计算哈希，彻底忽略文件层面的差异。

示例代码（Python，依赖PIL库） #

from PIL import Image
import hashlib

def calculate_pixel_hash(image_path):
    with Image.open(image_path) as img:
        # 转为RGB格式（统一处理不同通道的图像）
        img_rgb = img.convert('RGB')
        # 获取像素字节流
        pixel_data = img_rgb.tobytes()
        # 计算哈希
        return hashlib.md5(pixel_data).hexdigest()

# 使用方式：对比像素哈希值
pixel_hash3 = calculate_pixel_hash("image3.png")
pixel_hash4 = calculate_pixel_hash("image4.png")
is_identical = pixel_hash3 == pixel_hash4

方法优势 #

• 无需深度学习，代码简洁易实现，无需额外复杂配置
• 完全避免相似图像的误判（像图像3、4这类相似但不同的图像，哈希值必然不同）
• 两种方法可结合使用：先用文件哈希快速筛选，对哈希不同的图像再做像素哈希校验，兼顾效率与准确性

内容的提问来源于stack exchange，提问作者Sahil Lohiya