新闻门户CentOS 6服务器约200万张图片合并去重方案咨询

嘿，针对你这个两台CentOS 6服务器的图片合并去重需求，结合你已经用ImageMagick做过测试的情况，我整理了一套分步骤的可行方案，从数据同步到不同类型重复图片的识别处理都覆盖到了，应该能帮你解决问题：

第一步：先把两台服务器的图片弄到一起 #

要合并去重，首先得把其中一台的图片同步到同一台机器（或者挂载共享存储），方便后续批量处理。CentOS 6上用rsync最稳妥，高效还支持断点续传：

• 比如从服务器#2同步图片到服务器#1的/data/merged_images目录：

  rsync -avz --progress --partial user@server2_ip:/path/to/server2/images/ /data/merged_images/
  

  解释下参数：-a保留文件权限、时间戳等所有属性，-v显示同步进度细节，-z压缩传输省带宽，--partial中途断了也能接着传，不用重新来。
• 要是两台服务器在同一个局域网，也可以用NFS把其中一台的图片目录挂载到另一台，直接本地处理省传输时间，但rsync更适合大文件量的场景，不容易出问题。

第二步：针对性处理不同类型的重复图片 #

你的场景里有四种重复情况，得分别下手：

1. 像素级完全重复的图片（不管文件名） #

这种最容易处理，直接对比文件哈希值就行，用fdupes或者rdfind工具都可以，CentOS 6上直接yum就能装：

• 先装fdupes：

  yum install fdupes -y
  

• 先扫描合并目录，列出所有重复文件，确认下结果：

  fdupes -r /data/merged_images/
  

• 确认没问题后，自动删除重复文件（默认保留第一个，删除其他），怕误删的话可以先备份，或者加-N参数直接自动执行不用交互：

  fdupes -r -d -N /data/merged_images/
  

2. 尺寸调整、模糊/清晰版本的重复图片（内容一致，细节不同） #

这部分就是你之前测试ImageMagick的用武之地了，核心思路是提取感知哈希——它能把图片的视觉特征转换成一串哈希值，相似的图片哈希值差异很小。

方案：用ImageMagick+Shell脚本实现感知哈希对比

• 先确保CentOS 6上的ImageMagick是装好的，没装的话：

  yum install ImageMagick ImageMagick-devel -y
  

• 可以写个遍历脚本，生成每张图片的dHash（比pHash更快，适合百万级图片）并记录：

  # 生成哈希文件，格式：哈希值  文件路径
  find /data/merged_images -type f \( -iname "*.jpg" -o -iname "*.png" \) | while read img; do
      hash=$(convert "$img" -resize 9x8! -colorspace gray -format "%#" info: | cut -c 2-)
      echo "$hash $img" >> /tmp/image_hashes.txt
  done
  

  接着可以写脚本对比哈希的汉明距离（距离≤5基本就是同一张图的不同版本），保留分辨率更高/文件更大的那张，删掉其他。

更高效的Python方案

百万级图片用Python处理速度更快，推荐用imagehash库：

• 先装依赖：

  yum install python-pip -y
  pip install imagehash pillow
  

• 写个简单的脚本，逻辑是生成每张图的dHash，然后分组对比，保留质量最高的：

  import os
  import imagehash
  from PIL import Image
  
  target_dir = "/data/merged_images"
  hash_map = {}
  
  # 遍历所有图片，生成哈希并分组
  for root, _, files in os.walk(target_dir):
      for file in files:
          if file.lower().endswith((".jpg", ".png")):
              img_path = os.path.join(root, file)
              try:
                  with Image.open(img_path) as img:
                      # 生成dHash
                      img_hash = imagehash.dhash(img)
                      # 存储文件路径和大小，方便后续选最优
                      if img_hash not in hash_map:
                          hash_map[img_hash] = []
                      hash_map[img_hash].append( (img_path, os.path.getsize(img_path)) )
              except Exception as e:
                  print(f"处理图片失败 {img_path}: {str(e)}")
  
  # 处理每组重复图片，保留最大的（默认分辨率高的文件更大）
  for img_hash, file_list in hash_map.items():
      if len(file_list) > 1:
          # 按文件大小排序，最大的放最后
          file_list.sort(key=lambda x: x[1])
          # 删除除了最后一个之外的所有文件
          for path, _ in file_list[:-1]:
              print(f"删除重复图片: {path}")
              os.remove(path)
  

  如果要处理哈希值有微小差异的（比如模糊/清晰版本），可以加一段计算汉明距离的逻辑，把距离≤5的哈希组合并，再保留最优图片。

第三步：收尾和后续维护 #

• 去重完成后，清理下空目录：

  find /data/merged_images -type d -empty -delete
  

• 以后新增图片时，可以提前计算感知哈希存到数据库，上传前先对比，从源头避免重复。
• 最后提一句：CentOS 6已经停止安全维护了，长期来看建议迁移到CentOS 7/8或者其他支持的发行版，避免安全风险。

内容的提问来源于stack exchange，提问作者Sid