如何用MongoDB查询删除列表中按字段组合判定的重复条目

针对你要批量处理1万条文档，移除数组中string_1+string_2组合重复的对象、保留首个出现项的需求，下面提供两种可行的MongoDB操作方案：

方案一：使用updateMany结合聚合管道（推荐，原子操作） #

直接通过更新操作批量处理所有文档，无需额外遍历替换：

db.collection.updateMany(
  {}, // 匹配所有文档，如需过滤可添加条件，比如{ "list of objects": { $exists: true } }
  [
    {
      $set: {
        "list of objects": {
          $reduce: {
            input: "$list of objects",
            initialValue: { uniquePairs: [], result: [] },
            in: {
              $let: {
                vars: {
                  currentPair: { string_1: "$$this.string_1", string_2: "$$this.string_2" }
                },
                in: {
                  uniquePairs: {
                    $cond: [
                      { $in: ["$$currentPair", "$$value.uniquePairs"] },
                      "$$value.uniquePairs",
                      { $concatArrays: ["$$value.uniquePairs", ["$$currentPair"]] }
                    ]
                  },
                  result: {
                    $cond: [
                      { $in: ["$$currentPair", "$$value.uniquePairs"] },
                      "$$value.result",
                      { $concatArrays: ["$$value.result", ["$$this"]] }
                    ]
                  }
                }
              }
            }
          }
        }
      }
    },
    {
      $set: {
        "list of objects": "$list of objects.result"
      }
    }
  ]
)

逻辑说明： #

用$reduce遍历数组，同时维护两个状态：

• uniquePairs：记录已经出现过的string_1+string_2组合
• result：存储去重后的对象列表
  每遍历一个对象，先检查组合是否已存在，不存在则同时加入两个状态集合，存在则跳过，最终得到只保留首个重复项的数组。

方案二：聚合+替换文档 #

如果需要更直观的中间结果查看，可以先通过聚合管道处理，再替换原文档：

db.collection.aggregate([
  // 展开数组
  { $unwind: "$list of objects" },
  // 按文档ID+string_1+string_2分组，取每组第一个对象
  {
    $group: {
      _id: {
        docId: "$_id",
        string1: "$list of objects.string_1",
        string2: "$list of objects.string_2"
      },
      originalDoc: { $first: "$$ROOT" },
      firstObj: { $first: "$list of objects" }
    }
  },
  // 按文档ID重新分组，组装去重后的数组
  {
    $group: {
      _id: "$_id.docId",
      originalDoc: { $first: "$originalDoc" },
      uniqueList: { $push: "$firstObj" }
    }
  },
  // 合并原文档字段和新数组，生成最终文档
  {
    $replaceRoot: {
      newRoot: {
        $mergeObjects: [
          "$originalDoc",
          { "list of objects": "$uniqueList" }
        ]
      }
    }
  }
]).forEach(doc => {
  // 替换原文档
  db.collection.replaceOne({ _id: doc._id }, doc);
})

注意事项： #

1. 操作前务必备份数据，避免因操作失误导致数据丢失
2. 1万条文档量级下，两种方案都能高效完成，方案一更推荐，因为是原子更新操作
3. 如果只需要处理特定文档，可在updateMany或aggregate的第一个阶段添加匹配条件，缩小处理范围

内容的提问来源于stack exchange，提问作者Roger