MongoDB大集合（300万条）字符串数字转数值报错解决方案咨询

你的问题非常典型——当用forEach遍历百万级以上的集合时，游标因为长时间未活动（默认超时10分钟）被服务器关闭，就会抛出CursorNotFound（错误码43）。原方案的问题在于把每条数据拉到客户端修改再存回去，既慢又容易触发游标超时，下面给你几个更高效的解决方案：

方案1：用MongoDB 4.2+的聚合管道批量更新（推荐） #

从MongoDB 4.2开始，updateMany支持使用聚合管道来修改文档，这是最高效的方式，因为所有操作都在服务器端完成，不需要来回传输数据：

db.SurName.updateMany(
  // 匹配NUMBER是字符串类型的文档（避免重复处理已转换的）
  { NUMBER: { $type: "string" } },
  [
    {
      $set: {
        NUMBER: { $toInt: "$NUMBER" }
      }
    }
  ]
)

为什么这个方案好： #

• 服务器端批量处理，性能比客户端遍历高几个数量级
• 不会有游标超时问题，因为是单次命令（或分批次由MongoDB内部处理）
• 自动跳过已经是数值类型的文档，避免重复操作

方案2：分批次处理游标，避免超时 #

如果你的MongoDB版本低于4.2，可以用分批次遍历的方式，每次只取一小批数据处理，确保游标在超时前完成当前批次：

const batchSize = 1000;
let count = 0;
let cursor = db.SurName.find({ NUMBER: { $type: "string" } }).batchSize(batchSize);

while (cursor.hasNext()) {
  const bulkOps = [];
  // 取出当前批次的文档
  for (let i = 0; i < batchSize && cursor.hasNext(); i++) {
    const doc = cursor.next();
    bulkOps.push({
      updateOne: {
        filter: { _id: doc._id },
        update: { $set: { NUMBER: parseInt(doc.NUMBER, 10) } }
      }
    });
    count++;
  }
  // 批量执行更新
  if (bulkOps.length > 0) {
    db.SurName.bulkWrite(bulkOps);
    print(`已处理 ${count} 条文档`);
  }
}
print(`完成！总共处理 ${count} 条文档`);

关键优化点： #

• 用batchSize控制每次从服务器拉取的文档数量，避免游标长时间闲置
• 用bulkWrite批量提交更新，减少网络请求次数，提升效率
• 增加了类型过滤，只处理还没转换的文档

方案3：调整游标超时时间（不推荐，仅临时应急） #

如果你只是临时需要处理，不想改代码，可以临时延长游标超时时间，但这只是治标不治本，大集合还是可能出问题：

// 设置游标超时时间为1小时（3600000毫秒）
const cursor = db.SurName.find({ NUMBER: { $type: "string" } }).maxTimeMS(3600000);
cursor.forEach(function(tmp){ 
  tmp.NUMBER = parseInt(tmp.NUMBER, 10); 
  db.SurName.save(tmp); 
});

注意： #

• 这个方法本质还是客户端遍历，性能依然很差，不适合300万条数据
• 超时时间设置过长可能占用服务器资源

额外建议 #

• 处理前先备份集合，避免转换过程中出现问题：db.SurName.copyTo("SurName_backup")（或用mongodump工具）
• 可以先在小批量数据上测试命令，确认转换正确后再处理全量数据

内容的提问来源于stack exchange，提问作者Szelek