Azure CosmosDB内MongoDB执行bulk insert后数据全消失是何原因?
CosmosDB Mongo API 插入后文档消失的排查思路
完全匹配你观测现象的核心诱因
- 集合误配置了短周期TTL索引
- 这个场景和所有观测结果完全吻合:你每秒持续批量插入文档,运行时刷新Compass能看到文档数随插入节奏持续增长;但如果TTL索引设置的文档存活时间远短于你1小时的总插入流程时长,最早写入的文档会在到达存活阈值后被CosmosDB后台异步清理。等整个插入流程跑完,所有之前写入的文档早就过了TTL期限被删除,最终查看集合时自然显示为空。
- 你可以直接到CosmosDB集合的索引管理页面,检查是否存在绑定日期字段、设置了短过期时间的TTL索引,这是最快验证的方式。
- 整个流程里,不管是插入操作还是后台的TTL清理操作,都会产生实际的RU消耗,平台会正常计费,完全对应你提到的“被收取了费用、未遇到限流报错”的情况。
- 因为TTL清理是平台后台自动执行的逻辑,你的Python脚本在运行过程中根本感知不到,自然不会触发脚本层面的错误上报。POC阶段很容易出现测试时设置短TTL方便快速清理测试数据,后续忘了调整配置的问题。
- 隐式长事务触发超时自动回滚,且异常捕获逻辑漏掉了事务类报错
- CosmosDB的Mongo API对多文档事务有固定10秒的超时阈值,如果你在连接pymongo时因为默认配置触发了跨批次的长事务(比如全局会话绑定、连接串默认关联事务上下文),所有的
bulk_write操作都会运行在事务的临时写快照里。 - 运行过程中Compass能读取到事务内的临时写状态,所以你会看到文档数持续增长;但因为你的总插入流程长达1小时,事务会不断触发超时回滚,所有临时写入最终都会被撤销,集合回到初始的空状态。
- 你的代码里只捕获了
BulkWriteError,但事务超时抛出的是TransactionError类别的异常,再加上你写的except块后是静默逻辑(没有打印任何错误详情),你根本感知不到这些报错。整个事务执行过程产生的RU消耗(写入计算、事务协调开销)都会正常计费。
- CosmosDB的Mongo API对多文档事务有固定10秒的超时阈值,如果你在连接pymongo时因为默认配置触发了跨批次的长事务(比如全局会话绑定、连接串默认关联事务上下文),所有的
容易被忽略的代码层设计漏洞
- 批量写入逻辑不会主动暴露部分写入失败的问题
- pymongo的
bulk_write方法设置ordered=False时,只要批量请求中有至少1个文档写入成功,方法就会正常返回,不会抛出BulkWriteError;哪怕剩下的99个文档因为单文档大小超过CosmosDB 2MB上限、shard key值缺失、RU临时不足被拒绝,你都不会收到任何报错。 - 你必须手动检查
bulk_write的返回对象,统计inserted_count、write_errors、write_concern_errors字段,才能拿到真实的写入成功/失败计数。否则永远无法准确判断实际写入的文档数量。
- pymongo的
- 一致性配置导致的临时可见性偏差
- 如果你连接CosmosDB时配置了最终一致性,运行过程中Compass看到的临时文档计数可能是跨分区的读延迟导致的;当CosmosDB后台清理掉无效的写入临时块后,这些“看起来存在”的文档就会从视图里消失。
内容的提问来源于stack exchange,提问作者piglet
相关产品推荐
相关产品推荐

