MongoDB 4迁移至7+PyMongo 4+后，GridFS去重方案咨询

MongoDB 7及PyMongo 4+弃用了GridFS的MD5校验功能后，可通过自行计算文件哈希值并存储到文件元数据的方式实现去重，以下是具体实现思路和代码示例：

核心思路 #

1. 选择安全的哈希算法（推荐SHA-256，避免MD5的碰撞风险）
2. 上传文件前计算其哈希值，查询GridFS的fs.files集合中是否存在相同哈希的记录
3. 为哈希字段建立索引，提升查询效率，同时可通过唯一索引避免并发场景下的重复上传

具体实现 #

1. 计算文件哈希（支持大文件分块处理） #

避免一次性读取大文件到内存，采用分块读取的方式计算哈希：

import hashlib

def calculate_file_hash(file_path, chunk_size=4096):
    sha256 = hashlib.sha256()
    with open(file_path, 'rb') as f:
        while chunk := f.read(chunk_size):
            sha256.update(chunk)
    return sha256.hexdigest()

2. 上传前校验并去重 #

查询GridFS中是否存在相同哈希的文件，不存在则上传并将哈希存入元数据：

from pymongo import MongoClient, DuplicateKeyError
from gridfs import GridFS

# 初始化连接
client = MongoClient('mongodb://localhost:27017/')
db = client['your_target_db']
fs = GridFS(db)

target_file = '/path/to/your/file'
file_hash = calculate_file_hash(target_file)

# 查询重复文件
existing_file = fs.find_one({'metadata.sha256': file_hash})

if existing_file:
    print(f"文件已存在，ID: {existing_file._id}")
else:
    try:
        with open(target_file, 'rb') as f:
            file_id = fs.put(
                f,
                filename='your_file_name',
                metadata={'sha256': file_hash}
            )
        print(f"文件上传完成，ID: {file_id}")
    except DuplicateKeyError:
        # 处理并发上传导致的重复
        print("文件已被其他进程上传")

3. 建立哈希字段的唯一索引 #

为metadata.sha256建立唯一索引，既能加速查询，又能在并发场景下阻止重复上传：

# 创建唯一索引（仅需执行一次）
db.fs.files.create_index('metadata.sha256', unique=True)

4. 批量处理存量文件 #

若已有未存储哈希的GridFS文件，可批量计算并更新元数据，以便后续去重：

for file in fs.find({'metadata.sha256': {'$exists': False}}):
    sha256 = hashlib.sha256()
    # 分块读取GridFS文件内容计算哈希
    for chunk in fs.get(file._id):
        sha256.update(chunk)
    file_hash = sha256.hexdigest()
    # 更新文件元数据
    db.fs.files.update_one(
        {'_id': file._id},
        {'$set': {'metadata.sha256': file_hash}}
    )

注意事项 #

• 哈希算法可根据需求调整（如SHA-1、SHA-512），但优先选择SHA-256及以上的安全算法
• 分块大小可根据服务器内存配置调整，默认4KB适配大多数场景
• 并发上传场景下，需捕获DuplicateKeyError异常，避免程序报错

内容的提问来源于stack exchange，提问作者Ivan Sushkov