多源人员数据库减少重复数据的技术方案咨询

1. 现有哈希方案的优化调整 #

你初步计划用姓名+邮箱做哈希生成类唯一键的思路是可行的，但需要先对原始字段做标准化处理再哈希，避免因为格式差异产生不必要的新键：

• 姓名统一转小写，删除中间多余空格、特殊符号、前后缀尊称（如Mr./Ms./博士/教授等），如果是中文姓名可以统一转简体、或者补充拼音字段作为哈希计算维度
• 邮箱统一转小写，删除+号后缀（如xxx+spam@gmail.com等价于xxx@gmail.com），把别名域名替换为官方域名（如googlemail.com替换为gmail.com）
• 计算完成的哈希值可以直接存入MongoDB的_id字段，利用_id自带的全局唯一约束，插入重复数据时会直接抛出DuplicateKeyError，省去业务层额外的查询判断逻辑

2. MongoDB层面的去重手段 #

• 建唯一约束从底层避免重复：除了哈希键之外，可以给标准化后的邮箱、手机号、身份证/税号这类高唯一性字段单独建唯一索引，或者根据业务需求建复合唯一索引，从数据库层面阻断重复数据入库的可能
• 原子化插入更新：入库时优先用upsert逻辑，存在匹配的类唯一键就补充缺失字段、更新最新来源信息，不存在才插入新数据，示例MongoDB聚合查询批量去重逻辑：

// 存量数据批量去重
db.people.aggregate([
  { $group: {
    _id: "$unique_hash", // 你计算的类唯一哈希键
    fullDoc: { $mergeObjects: "$$ROOT" }, // 合并同组所有重复数据的字段，优先保留非空值
    duplicateIds: { $addToSet: "$_id" }
  }},
  { $match: { $expr: { $gt: [ { $size: "$duplicateIds" }, 1 ] } } } // 筛选出存在重复的条目组
])

• 每条数据增加source_meta字段，记录数据来源、抓取/入库时间，去重时优先保留来源可信度更高、更新时间更近的条目

3. Python脚本层的优化方案 #

• 批量导入数据前先做内存去重：用set存储本批次已经处理过的哈希键，同批次重复数据先在内存中处理完再发起数据库请求，减少不必要的IO开销
• 用pymongo的update_one实现原子化操作，避免多脚本并发插入时的重复问题：

from pymongo import MongoClient
from datetime import datetime

client = MongoClient("你的连接串")
collection = client["db_name"]["people"]

collection.update_one(
  {"unique_hash": computed_hash},
  {
    "$setOnInsert": new_person_data, # 只有新插入时才写入全量数据
    "$set": {"last_updated": datetime.now()} # 已存在的数据仅更新更新时间
  },
  upsert=True
)

• 针对姓名拼写误差、邮箱输入错误的场景，可以引入fuzzywuzzy、python-Levenshtein这类库计算字段相似度，相似度超过阈值的条目标记为疑似重复，人工审核或者自动合并字段

4. 兜底去重逻辑设计 #

• 做多套哈希键兜底：如果数据源有更多字段，可额外生成「标准化姓名+手机号」、「标准化姓名+公司+职位」这类备用类唯一键，任意一套键匹配上就算疑似重复
• 给所有数据增加duplicate_flag字段，定期跑离线脚本排查漏网的重复数据，不断调整匹配阈值优化去重准确率

内容的提问来源于stack exchange，提问作者Folded Panda