MongoDB批量处理：基于已有字段为千万级文档新增字段

首先，你当前用forEach循环单条save()的方法，在处理1000万条数据时性能会非常糟糕——因为每一次save()都是独立的写请求，会产生大量网络往返和数据库事务开销，可能要花数小时甚至更久才能完成。下面给你两种更高效的解决方案：

方案1：使用批量写入（Bulk Write） #

批量操作可以把多个更新请求打包成一批，大幅减少网络交互次数，提升处理效率。示例代码如下：

const batchSize = 1000; // 每批次处理1000条，可根据服务器性能调整（比如2000-5000）
let bulkOps = [];

db.attendances.find({
  // 过滤条件：只处理还没新增目标字段的文档，避免重复操作
  $or: [
    { entryTimeMillis: { $exists: false } },
    { exitTimeMillis: { $exists: false } }
  ]
}).forEach(function(attendance) {
  let updateFields = {};
  
  if (attendance.entryTime != null) {
    updateFields.entryTimeMillis = attendance.entryTime.getTime();
  }
  if (attendance.exitTime != null) {
    updateFields.exitTimeMillis = attendance.exitTime.getTime();
  }

  if (Object.keys(updateFields).length > 0) {
    bulkOps.push({
      updateOne: {
        filter: { _id: attendance._id },
        update: { $set: updateFields }
      }
    });
  }

  // 达到批次大小就执行批量操作
  if (bulkOps.length === batchSize) {
    db.attendances.bulkWrite(bulkOps);
    bulkOps = []; // 清空批次数组，准备下一批
  }
});

// 处理剩余的未完成批次
if (bulkOps.length > 0) {
  db.attendances.bulkWrite(bulkOps);
}

• 优点：兼容性好，支持MongoDB 3.2及以上版本
• 注意事项：
  • 不要把batchSize设得过大，避免客户端内存溢出
  • 加上过滤条件能避免重复处理已经更新过的文档

方案2：使用聚合管道式更新（推荐，MongoDB 4.2+） #

MongoDB 4.2及以上版本支持在updateMany中使用聚合管道，直接在数据库端完成字段计算，不需要把数据拉到客户端再写回去，这是性能最优的方案：

db.attendances.updateMany(
  // 过滤条件：只处理需要更新的文档
  {
    $or: [
      { entryTimeMillis: { $exists: false }, entryTime: { $exists: true } },
      { exitTimeMillis: { $exists: false }, exitTime: { $exists: true } }
    ]
  },
  [
    {
      $set: {
        entryTimeMillis: {
          $cond: {
            if: { $ne: ["$entryTime", null] },
            then: { $toLong: "$entryTime" }, // 用MongoDB内置操作符直接转时间戳，更高效
            else: "$entryTimeMillis" // 保留已有值（如果存在）
          }
        },
        exitTimeMillis: {
          $cond: {
            if: { $ne: ["$exitTime", null] },
            then: { $toLong: "$exitTime" },
            else: "$exitTimeMillis"
          }
        }
      }
    }
  ]
);

• 优点：
  • 完全在数据库端执行，没有客户端数据传输开销，性能比批量写入更高
  • 用内置$toLong替代客户端getTime()，计算更高效
• 注意事项：
  • 确保你的MongoDB版本是4.2或以上
  • 执行前可以先用find()加相同过滤条件，预估要更新的文档数量

额外实用建议 #

1. 先备份数据：执行大规模更新前，一定要先备份集合（比如db.attendances.copyTo("attendances_backup")或用mongodump），避免操作失误导致数据丢失
2. 优化查询索引：如果你的find()有过滤条件，给相关字段（比如entryTimeMillis、exitTimeMillis）创建索引，加快查询速度
3. 监控执行进度：可以通过MongoDB Compass或shell查看操作的执行状态，避免长时间等待却不清楚进展

内容的提问来源于stack exchange，提问作者Shubham A.