MongoDB 6中基于ViolationID字段去重（保留最新文档）问题求助

原代码的核心问题 #

1. 异步未等待：forEach中调用的deleteMany是异步操作，没有等待执行完成就继续循环，导致删除操作可能未实际执行就结束了。
2. 逻辑冗余且低效：遍历所有文档重复执行删除，大量浪费数据库资源，且容易因异步时序问题导致操作失败。
3. 潜在的_id类型不匹配：如果Mongoose返回的record._id是ObjectId对象，而数据库中存储的是字符串类型，直接用$lt比较会失效。

高效解决方案：聚合分组+批量删除 #

通过聚合查询先找出每个ViolationID对应的最新文档（最大_id），再批量删除其余重复文档，这是最高效的方式：

Violation.aggregate([
  // 按ViolationID分组，获取每组的最大_id（即最后创建的文档）
  {
    $group: {
      _id: "$ViolationID",
      latestId: { $max: "$_id" }
    }
  },
  // 只保留需要的latestId字段
  { $project: { latestId: 1 } }
])
.then(results => {
  // 提取所有需要保留的_id列表
  const keepIds = results.map(item => item.latestId);
  // 批量删除不在保留列表中的文档
  return Violation.deleteMany({ _id: { $nin: keepIds } });
})
.then(deletionResult => {
  console.log(`成功删除${deletionResult.deletedCount}条重复文档`);
})
.catch(err => {
  console.error('处理重复文档时出错：', err);
});

修复原逻辑的方案（不推荐，仅作参考） #

如果一定要沿用原思路，需要解决异步等待和_id类型匹配问题：

Violation.find({}, { "ViolationID": 1 })
  .sort({ _id: 1 })
  .then(async (violations) => {
    // 使用for...of循环配合await保证异步操作顺序执行
    for (const record of violations) {
      // 将_id统一转换为字符串，避免类型不匹配
      const currentId = typeof record._id === 'object' ? record._id.toString() : record._id;
      await Violation.deleteMany({
        _id: { $lt: currentId },
        "ViolationID": record.ViolationID
      });
    }
    console.log('重复文档处理完成');
  })
  .catch(err => {
    console.error('操作出错：', err);
  });

注：此方法效率远低于聚合分组方案，仅适合小数据集测试使用。

内容的提问来源于stack exchange，提问作者Artembash