使用mongorestore迁移MongoDB至Azure Cosmos DB遇请求过大错误

你遇到的Request size is too large错误，核心原因是Azure Cosmos DB MongoDB API对单请求的payload大小有严格限制（默认最大16MB），单纯调整--batchSize不一定能解决问题——因为这个参数控制的是批量插入的文档数量，如果单文档本身就超量，或者批量后的总请求体积还是超过阈值，错误依然会出现。下面是具体的排查和解决步骤：

1. 先排查是否存在超大单文档 #

Cosmos DB和原生MongoDB一样，单文档最大支持16MB。如果你的源MongoDB里有超过这个大小的文档，不管怎么调批量参数都会报错：

• 用Mongo Shell执行以下命令，找出所有超过16MB的文档：

  // 替换成你的集合名称
  db.your_collection_name.find({ $where: "Object.bsonsize(this) > 16000000" }).forEach(doc => printjson(doc._id))
  

• 对于超大文档，你需要做拆分处理：比如把大字段（如base64编码的媒体文件）迁移到Azure Blob Storage，然后在文档中存储对应的访问链接；或者把大文档拆分成多个关联的小文档。

2. 调整mongorestore的参数组合 #

除了--batchSize，结合以下参数可以更精准地控制请求大小：

• 进一步缩小--batchSize：比如尝试设置为50、30甚至10，确保每个批次的总大小不超过16MB。如果你的文档平均大小是500KB，那--batchSize 30的总大小就是15MB，刚好低于阈值。
• 添加--writeConcern "{w:0}"：关闭写入确认，减少请求的额外开销，适合迁移场景（注意：这个参数会牺牲写入一致性保障，迁移完成后建议验证数据完整性）。
• 启用多线程插入：添加--numInsertionWorkersPerCollection 4（根据你的Cosmos RU配额调整数量，不要过高），分散请求压力的同时避免单批次体积过大。

调整后的命令示例：

mongorestore --host $host:10255 -u $user -p $password --ssl --sslAllowInvalidCertificates --batchSize 30 --writeConcern "{w:0}" --numInsertionWorkersPerCollection 4 --drop --db chronas-api $folderPath

3. 检查Cosmos DB的配置与配额 #

• 确认Mongo API版本兼容性：确保你的Cosmos DB账户的Mongo API版本和源MongoDB版本匹配（比如源是4.2，Cosmos也要选择4.2版本），版本不兼容可能导致请求大小计算异常。
• 临时提升RU配额：迁移期间如果RU（请求单位）不足，可能会触发限流，间接导致请求堆积或大小限制报错。可以临时把RU调至较高值，迁移完成后再降回正常水平。

4. 尝试Azure官方迁移工具 #

如果mongorestore始终无法绕过大小限制，可以试试Azure专为Cosmos DB设计的迁移工具：

• Azure Cosmos DB Data Migration Tool（dt.exe）：这个工具会自动适配Cosmos的请求大小限制、RU配额，支持从MongoDB直接迁移，无需手动调整参数。
• Azure Database Migration Service：全托管的迁移服务，适合大规模数据迁移，能自动处理迁移中的各种兼容性和性能问题。

迁移前建议先拿小批量数据做测试，验证参数或工具的有效性，避免全量迁移失败浪费时间。

内容的提问来源于stack exchange，提问作者aumanjoa