如何在JavaScript中通过数组批量Upsert对象？优化20万数据性能

开发者阿泽

2026-7-3

优化批量Upsert性能的方案

问题根源

你当前用for循环逐个调用findByIdAndUpdate的方式，会产生20万次独立的数据库请求，每一次请求都包含网络往返、数据库连接开销，这是性能低下的核心原因。改用批量写入操作能将大量请求合并为少数几次，大幅降低整体开销。

最优方案：使用Mongoose的`bulkWrite` API

MongoDB原生支持批量操作，Mongoose封装的bulkWrite方法可以一次性提交多个更新/插入指令，完美适配你的需求。

基础实现代码

const arr = [
  {id: 1, pre: 10, post: 15 , name: 'egg'},
  {id: 2, pre: 10, post: 15 , name: 'egg 2'},
  {id: 3, pre: 10, post: 15 , name: 'egg 3'},
  {id: 4, pre: 10, post: 15 , name: 'egg 4'}
];

// 将数组转换为批量操作指令
const bulkOps = arr.map(doc => ({
  updateOne: {
    filter: { id: doc.id }, // 按id匹配文档
    update: { $set: doc }, // 更新字段（存在则覆盖，不存在则添加）
    upsert: true // 匹配不到则插入新文档
  }
}));

// 执行批量操作
await processed_.bulkWrite(bulkOps, { ordered: false });

关键参数说明

ordered: false：关闭顺序执行模式，数据库会并行处理批量操作，单个操作失败不会中断整个任务，适合大规模数据的容错处理。
upsert: true：保留你原本的需求逻辑，确保匹配不到时自动插入新文档。

针对20万条数据的分批优化

MongoDB对单批操作的大小有限制（默认建议每批不超过1000条或16MB），因此需要将20万条数据拆分为多个批次处理：

const batchSize = 1000; // 每批处理1000条，可根据服务器性能调整

for (let i = 0; i < arr.length; i += batchSize) {
  const currentBatch = arr.slice(i, i + batchSize);
  const batchOps = currentBatch.map(doc => ({
    updateOne: {
      filter: { id: doc.id },
      update: { $set: doc },
      upsert: true
    }
  }));
  await processed_.bulkWrite(batchOps, { ordered: false });
}