使用MongoDB+Node.js迁移数据：如何保留ObjectId类型

根源问题：JSON序列化丢失类型信息 #

JSON是无类型纯文本格式，无法保留MongoDB的特殊类型（如ObjectId、Date），所以将文档序列化为JSON写入临时文件时，ObjectId会被转为字符串，导入后无法自动恢复原类型。

方案1：用BSON替代JSON存储临时文件（从根源避免问题） #

BSON是MongoDB的原生二进制格式，能完整保留所有数据类型。通过Node.js的bson包直接序列化/反序列化文档，写入临时文件的是BSON二进制数据，导入后直接恢复原类型，无需额外转换。

导出代码示例 #

const { MongoClient } = require('mongodb');
const { serialize } = require('bson');
const fs = require('fs');

async function exportCollectionToBSON(prodUri, dbName, collName, outputPath) {
  const prodClient = await MongoClient.connect(prodUri);
  const coll = prodClient.db(dbName).collection(collName);
  const cursor = coll.find();

  const writeStream = fs.createWriteStream(outputPath);
  
  for await (const doc of cursor) {
    const bsonBuffer = serialize(doc);
    // BSON格式要求每个文档前写入4字节的长度（小端序）
    const lengthBuf = Buffer.alloc(4);
    lengthBuf.writeInt32LE(bsonBuffer.length, 0);
    writeStream.write(lengthBuf);
    writeStream.write(bsonBuffer);
  }

  writeStream.end();
  await prodClient.close();
}

导入代码示例 #

const { MongoClient } = require('mongodb');
const { deserialize } = require('bson');
const fs = require('fs').promises;

async function importBSONToCollection(devUri, dbName, collName, inputPath) {
  const devClient = await MongoClient.connect(devUri);
  const coll = devClient.db(dbName).collection(collName);
  const fileBuffer = await fs.readFile(inputPath);

  let offset = 0;
  const batchSize = 1000;
  let batch = [];

  while (offset < fileBuffer.length) {
    // 读取文档长度
    const docLength = fileBuffer.readInt32LE(offset);
    offset += 4;
    // 读取单个BSON文档
    const docBuffer = fileBuffer.slice(offset, offset + docLength);
    offset += docLength;
    // 反序列化为带原生类型的文档
    const doc = deserialize(docBuffer);
    batch.push(doc);

    // 批量插入，控制内存占用
    if (batch.length >= batchSize) {
      await coll.insertMany(batch);
      batch = [];
    }
  }

  // 插入剩余文档
  if (batch.length > 0) {
    await coll.insertMany(batch);
  }

  await devClient.close();
}

方案2：批量转换已导入的字符串类型ObjectId（针对已出现的问题） #

如果已经将字符串类型的ObjectId导入到开发库，可以用MongoDB的聚合管道+updateMany批量转换，无需客户端循环处理，性能远高于逐条操作。

批量转换代码示例 #

const { MongoClient } = require('mongodb');

async function convertStringIdsToObjectId(devUri, dbName, collName) {
  const devClient = await MongoClient.connect(devUri);
  const coll = devClient.db(dbName).collection(collName);

  // 转换_id字段（仅匹配字符串类型的_id）
  await coll.updateMany(
    { _id: { $type: 'string' } },
    [ { $set: { _id: { $toObjectId: '$_id' } } } ]
  );

  // 转换其他引用字段（替换为你的实际字段名）
  await coll.updateMany(
    { other_collection_ref_id_now_is_String: { $type: 'string' } },
    [ { $set: { other_collection_ref_id_now_is_String: { $toObjectId: '$other_collection_ref_id_now_is_String' } } } ]
  );

  await devClient.close();
}

注意：$toObjectId是MongoDB 4.0+支持的聚合操作符，确保你的开发库版本符合要求；批量更新由数据库端执行，是原子性操作，效率极高。

关于模式验证的说明 #

MongoDB的模式验证（Schema Validation）仅用于检查文档是否符合预设结构，无法自动转换数据类型，因此不能解决该问题。

内容的提问来源于stack exchange，提问作者Barbi