如何使用Mongoose将指定格式的现有对象批量保存到MongoDB集合？

以下JSON是我要保存到MongoDB集合的示例，其中的顶层键需要用作文档的_id：

{
   "5434": {
      "name": "test 1",
      "status": "active",
      "address": {
         "1467": {
            "comment": ""
         }
      },
      "contact": {
         "3235": {
            "firstname": ""
         }
      }
   },
   "6000": {
      "name": "test2",
      "status": "active",
      "address": {
         "1467": {
            "comment": ""
         }
      },
      "contact": {
         "3235": {
            "firstname": ""
         }
      }
   }
}

我目前能想到的实现方式非常繁琐：循环遍历对象及其嵌套结构，手动插入_id，比如：

const customerObj = await customerDocument.create({ _id: '5434', ...customerColl['5434'] });

但我有超过10000条这类数据，手动处理完全不现实。

核心问题：如何用Mongoose高效地将这类现有对象保存到集合中？

1. 批量转换数据结构 #

先把原始的键值对对象转换成Mongoose可批量插入的数组，自动将顶层键转为_id，同时处理嵌套结构的_id（如果需要）：

// 假设原始数据存储在rawData变量中
const formattedData = Object.entries(rawData).map(([id, data]) => {
  const processedItem = { ...data };

  // 处理嵌套的address，将键转为_id并转为数组（按需调整）
  if (processedItem.address) {
    processedItem.address = Object.entries(processedItem.address).map(([addrId, addrInfo]) => ({
      _id: addrId,
      ...addrInfo
    }));
  }

  // 处理嵌套的contact，逻辑同上
  if (processedItem.contact) {
    processedItem.contact = Object.entries(processedItem.contact).map(([contactId, contactInfo]) => ({
      _id: contactId,
      ...contactInfo
    }));
  }

  return {
    _id: id,
    ...processedItem
  };
});

2. 批量插入到MongoDB #

使用Mongoose的insertMany方法批量插入，这比循环调用create效率高得多，适合大数据量场景：

try {
  const insertResult = await customerDocument.insertMany(formattedData, {
    ordered: false // 可选：某条数据插入失败时，继续处理剩余数据，适合大量数据导入
  });
  console.log(`成功插入${insertResult.length}条数据`);
} catch (err) {
  console.error('插入失败:', err);
}

3. 关键注意事项 #

• Schema匹配：确保你的Mongoose Schema定义与转换后的数据结构一致，比如顶层_id设为String类型，嵌套字段如果是数组要定义子Schema：

const AddressSchema = new mongoose.Schema({
  _id: String,
  comment: String
});

const ContactSchema = new mongoose.Schema({
  _id: String,
  firstname: String
});

const CustomerSchema = new mongoose.Schema({
  _id: String,
  name: String,
  status: String,
  address: [AddressSchema],
  contact: [ContactSchema]
});

const customerDocument = mongoose.model('Customer', CustomerSchema);

• 性能优化：insertMany默认会自动分批次插入（默认每批次1000条），10000条数据无需手动拆分；如果数据量极大，可通过batchSize参数调整批次大小。
• 错误排查：开启ordered: false后，插入失败的文档不会阻断整个导入流程，错误信息会包含失败的具体文档，方便后续修复。

内容的提问来源于stack exchange，提问作者Sandra Schlichting