MongoDB中如何基于另一集合高效批量删除目标集合文档？

前置准备 #

先为两个集合的关联字段record_id创建单字段索引，这是所有优化方案的基础，建索引时指定background: true避免阻塞正常业务读写：

db.user_records.createIndex({record_id: 1}, {background: true})
db.to_delete_records.createIndex({record_id: 1}, {background: true})

方案一：分批批量删除（全版本兼容，实现简单） #

该方案把单次单条删除改为批量删除，大幅减少数据库交互开销，性能比原生逐行deleteOne提升10~100倍：

// 单批处理条数，可根据服务器性能调整为1000~10000
const BATCH_SIZE = 2000
// 遍历待删集合游标，设置无超时避免长任务游标被回收
const cursor = db.to_delete_records.find({}, {record_id: 1, _id: 0}).noCursorTimeout()

let batchIds = []
while (cursor.hasNext()) {
  batchIds.push(cursor.next().record_id)
  // 凑够单批数量执行删除
  if (batchIds.length === BATCH_SIZE) {
    db.user_records.deleteMany({record_id: {$in: batchIds}})
    batchIds = []
    // 可选：每批删除后增加100~500ms延迟，降低业务高峰期的IO压力
    // sleep(200)
  }
}
// 处理最后不足一批的剩余数据
if (batchIds.length > 0) {
  db.user_records.deleteMany({record_id: {$in: batchIds}})
}

方案二：服务端聚合关联删除（MongoDB 4.4+ 适用，千万级数据最优） #

如果你的MongoDB版本在4.4及以上，可直接在服务端完成关联匹配，不需要把大量待删ID拉到客户端内存，性能更高：

// 第一步：关联两个集合，将待删的user_records文档_id写入临时集合
db.to_delete_records.aggregate([
  {
    $lookup: {
      from: "user_records",
      localField: "record_id",
      foreignField: "record_id",
      as: "matched"
    }
  },
  { $unwind: "$matched" },
  { $project: { _id: "$matched._id" } },
  {
    $merge: {
      into: "temp_delete_ids",
      whenMatched: "replace",
      whenNotMatched: "insert"
    }
  }
], { allowDiskUse: true }) // 允许落盘避免聚合内存超限

// 第二步：基于临时集合的_id批量删除目标数据
const BATCH_SIZE = 5000
const delCursor = db.temp_delete_ids.find().noCursorTimeout()
let batchIds = []
while (delCursor.hasNext()) {
  batchIds.push(delCursor.next()._id)
  if (batchIds.length === BATCH_SIZE) {
    db.user_records.deleteMany({_id: {$in: batchIds}})
    batchIds = []
  }
}
if (batchIds.length > 0) {
  db.user_records.deleteMany({_id: {$in: batchIds}})
}

// 删除完成后清理临时集合
db.temp_delete_ids.drop()

注意事项 #

• 建议在业务低峰期执行删除任务，避免和正常写入请求抢占IO、CPU资源
• 若单批删除耗时过高，可适当调低BATCH_SIZE，或在每批删除后增加休眠时间
• WiredTiger引擎删除数据后不会自动释放磁盘空间，如需回收可在低峰期执行db.runCommand({compact: "user_records"})

内容的提问来源于stack exchange，提问作者KTB