MongoDB 5.0保留原始记录删除重复数据的方法求助

需求说明 #

• 集合含约10万条文档，结构如下：

{ 
    "_id" : ObjectId("582c98667d81e1d0270cb3e9"), 
    "name" : "place123", 
    "code" : "XYZ" 
}

• 约1万条文档存在name重复（部分name对应2-3条文档）
• 需针对指定的1.2万个重复name，每个name仅保留任意一条文档，删除其余重复项

原脚本问题分析 #

你提供的聚合脚本会处理所有存在重复的name（即所有count>1的分组），而非仅你指定的1.2万个name。如果集合中其他name也存在重复，脚本会一并处理，导致超出预期的大量删除，这就是测试时几乎删完所有文档的原因。

改进方案 #

以下方案仅针对指定的重复name列表操作，避免误删其他数据：

方案1：针对指定name列表逐个处理（直观易验证）

// 替换为你的1.2万个重复name列表
const duplicateNames = ["place123", "place456", "place789"];

duplicateNames.forEach(name => {
    // 获取当前name对应的所有文档ID
    const docIds = db.collectionName.find({ name }, { _id: 1 }).map(doc => doc._id);
    // 仅当存在重复时执行删除
    if (docIds.length > 1) {
        // 移除第一个ID（保留该条文档），删除剩余ID对应的文档
        docIds.shift();
        db.collectionName.deleteMany({ _id: { $in: docIds } });
    }
});

方案2：聚合+批量删除（适合大数据量）

通过聚合先过滤出目标name的重复分组，再批量删除冗余文档：

const duplicateNames = ["place123", "place456", ...]; // 替换为实际列表

db.collectionName
  .aggregate([
    // 第一步：仅筛选指定列表中的name，避免处理无关数据
    { $match: { name: { $in: duplicateNames } } },
    // 第二步：按name分组，收集所有重复文档的ID和数量
    {
      $group: {
        _id: "$name",
        dups: { $push: "$_id" },
        count: { $sum: 1 }
      }
    },
    // 第三步：仅处理存在重复的分组
    { $match: { count: { $gt: 1 } } }
  ], { allowDiskUse: true }) // 大数据量时启用磁盘存储
  .forEach(doc => {
    doc.dups.shift(); // 保留第一个文档，可根据需求调整保留逻辑
    db.collectionName.deleteMany({ _id: { $in: doc.dups } });
  });

方案3：批量写入优化（减少数据库请求）

针对超大数据量，用bulkWrite批量执行删除操作，提升效率：

const duplicateNames = ["place123", "place456", ...];
const bulkOps = [];

duplicateNames.forEach(name => {
    const docIds = db.collectionName.find({ name }, { _id: 1 }).map(doc => doc._id);
    if (docIds.length > 1) {
        docIds.shift();
        bulkOps.push({
            deleteMany: { filter: { _id: { $in: docIds } } }
        });
        // 每1000条操作执行一次批量写入，避免内存溢出
        if (bulkOps.length === 1000) {
            db.collectionName.bulkWrite(bulkOps);
            bulkOps.length = 0;
        }
    }
});

// 执行剩余的批量操作
if (bulkOps.length > 0) {
    db.collectionName.bulkWrite(bulkOps);
}

注意事项 #

• 操作前必须备份数据，尤其是生产环境，建议先在测试集合验证脚本效果
• 若需保留特定版本的文档（如最新/最早），可在find时添加排序：

  // 保留最新创建的文档（按_id降序，取第一个后删除其余）
  const docIds = db.collectionName.find({ name }).sort({ _id: -1 }).map(doc => doc._id);
  

• 大数据量操作时，建议分批次执行，避免长时间锁库影响业务

内容的提问来源于stack exchange，提问作者Dylanz