PDF去重问题：同内容不同时段生成的PDF未被识别为重复的原因及方案

为什么相同内容的PDF哈希值不同？ #

• 元数据差异：从DOCX转PDF时，生成时间、软件版本、临时标识这类随生成时间变化的元数据会被写入PDF，这些内容不影响阅读，但会改变文件的二进制结构，导致哈希值不同。
• 内部结构差异：PDF的对象编号、交叉引用表等底层结构在每次生成时可能重新排序或生成，即使内容一致，这些结构的变化也会让整个文件的二进制流不一样。
• 嵌入资源细微变化：DOCX转PDF时，字体嵌入方式、图片压缩参数可能因生成时段的环境细微差异（比如系统资源占用情况）发生变化，进而改变PDF的二进制内容。

基于实际内容生成唯一哈希的替代逻辑 #

1. 提取纯文本内容计算哈希 #

适合以文字为主的PDF，提取所有页面的纯文本后计算哈希，忽略元数据和内部结构差异。

import hashlib
import pdfplumber

def calculate_content_hash(path):
    full_text = ""
    with pdfplumber.open(path) as pdf:
        for page in pdf.pages:
            page_text = page.extract_text()
            if page_text:
                full_text += page_text
    hasher = hashlib.md5()
    hasher.update(full_text.encode('utf-8'))
    return hasher.hexdigest()

2. 基于渲染内容计算哈希 #

针对包含图片的PDF，将PDF每页转为图片后计算哈希，确保视觉内容一致的文件能被识别为重复。

import hashlib
from pdf2image import convert_from_path

def calculate_rendered_hash(path):
    page_images = convert_from_path(path)
    hasher = hashlib.md5()
    for img in page_images:
        img_byte_data = img.tobytes()
        hasher.update(img_byte_data)
    return hasher.hexdigest()

注意：需要提前安装pdf2image和Poppler工具，该方法速度较慢，适合对精度要求高的场景。

3. 标准化PDF后计算哈希 #

使用qpdf工具对PDF进行标准化处理，去除可变元数据、重新整理内部结构，再计算哈希，既能保留所有内容，又能消除生成过程中的可变差异。

import hashlib
import subprocess
import os

def calculate_standardized_hash(path):
    temp_pdf = "temp_standardized.pdf"
    # 调用qpdf线性化PDF，消除可变结构和元数据
    subprocess.run(["qpdf", "--linearize", path, temp_pdf], check=True)
    # 计算标准化后文件的哈希
    hasher = hashlib.md5()
    with open(temp_pdf, 'rb') as f:
        hasher.update(f.read())
    os.remove(temp_pdf)
    return hasher.hexdigest()

注意：需要提前安装qpdf工具，这是平衡准确性和效率的最优方案之一。

内容的提问来源于stack exchange，提问作者user1597990