使用Python3删除MongoDB中已定位重复数据的方法咨询

原有尝试的两处核心报错原因 #

• 集合名写错：原删除脚本里的目标集合写为db.dups，但你的实际业务集合是db.keywords，脚本里的dups是聚合结果的临时字段名，不是真实存在的数据库集合，即使能正常循环也删不到目标数据
• 游标模式不兼容：新版MongoDB Shell对聚合接口的默认返回值做了调整，未显式开启游标时，返回值不直接支持forEach方法，才会出现“需先转换为数组才能调用forEach”的提示，和Python 3环境无关
• 补充说明：dropDups: true早在MongoDB 3.0版本就被官方废弃，并非Python3环境不支持，该参数在新版本MongoDB中无任何实际效果，无需在该参数上调试

方案1：Mongo Shell 修正后可直接执行的删除逻辑 #

不需要手动将聚合结果转为数组，只要显式给聚合接口开启游标模式，即可正常遍历删除：

// 显式开启游标模式，解决forEach报错
const dupGroups = db.keywords.aggregate([
  {
    $group: {
      _id: "$keyword",
      dups: {$push: "$_id"},
      count: {$sum: 1}
    }
  },
  {
    $match: {count: {$gt: 1}}
  }
], {cursor: {}})

dupGroups.forEach(group => {
  // 每组保留第一条数据，其余收集为待删除ID
  const idsToDelete = group.dups.slice(1)
  // 从正确的keywords集合执行批量删除
  db.keywords.deleteMany({_id: {$in: idsToDelete}})
})

注意：原脚本使用的remove方法已被MongoDB标记为废弃，推荐使用官方兼容的deleteMany方法执行批量删除。

方案2：基于现有Python脚本的实现（无需切换Shell环境） #

复用你已经写好的Python聚合查询逻辑，直接在脚本内添加删除流程即可，完全适配Python3运行环境：

# 复用已验证可用的聚合查询逻辑
duplicates = keywordsCollection.aggregate([
  {
    "$group": {
      "_id": "$keyword",
      "dups": {"$push": "$_id"},
      "count": {"$sum": 1}
    }
  },
  {
    "$match": {"count": {"$gt": 1}}
  }
])

# 逐组处理重复数据
for group in duplicates:
    # 跳过每组第一条，取出剩余重复文档的ObjectId
    repeat_ids = group["dups"][1:]
    # 批量执行删除
    keywordsCollection.delete_many({"_id": {"$in": repeat_ids}})

长期防重复兜底配置 #

完成现有重复数据清理后，给keyword字段创建唯一索引，从写入层面阻止后续生成重复数据：

# Python侧创建唯一索引的写法
keywordsCollection.create_index("keyword", unique=True)

注意：创建唯一索引前必须确认集合内无剩余重复数据，否则索引创建会直接失败。

内容的提问来源于stack exchange，提问作者evasim