如何最快在Azure Cosmos DB生成2500亿条坐标区域数据

你当前实现写入效率极低，核心是三个问题：

• 采用串行单条写入逻辑，完全没用到Cosmos DB的批量写入能力
• 每个网格条目用独立分区键，无法做分区内批量聚合，写入时会触发无意义的跨分区调度
• 试图通过业务API逐行写入2500亿条数据，额外增加了网络跳转、序列化、接口请求的开销

1. 优先砍掉无意义的全量预写入逻辑（效率提升无穷大） #

你要生成的是步长固定为0.0002的规则经纬度网格，所有网格的ID、坐标、边界都可以通过固定公式实时计算，完全不需要提前把2500亿条空网格全存进数据库：

• 空网格没有绑定任何业务数据，存进数据库会占用20TB以上存储空间，产生完全不必要的存储成本
• 任意给定点位对应的网格ID、相邻网格列表，都可以通过经纬度偏移量直接算出，计算延迟在毫秒级，和查数据库的效果完全一致
• 只有当某个网格被实际分配、绑定业务属性（比如所有者、自定义标题）时，再把对应网格条目写入Cosmos DB即可，最终实际写入量可能连全量的万分之一都不到

2. 如果确实需要全量预存，替换写入逻辑 #

如果业务场景必须预存全量网格，按以下方式调整，写入效率可以提升1000倍以上：

• 开启SDK批量执行模式：新版.NET Cosmos SDK原生支持批量写入，初始化客户端时打开AllowBulkExecution配置，不要逐行await单条写入请求，攒够100条/总大小不超过2MB就作为一个批量提交

  CosmosClient client = new CosmosClient(连接字符串, new CosmosClientOptions
  {
      AllowBulkExecution = true,
      MaxRetryAttemptsOnRateLimitedRequests = 999,
      MaxRetryWaitTimeOnRateLimitedRequests = TimeSpan.FromMinutes(10)
  });
  

• 重构分区键设计：不要给每个网格分配独立分区键，改用网格聚合块作为分区键，比如按1度经纬度区间作为分区维度，格式为纬度整数部分_经度整数部分，保证批量写入的条目都落在同一个分区内，避免跨分区调度开销
• 临时拉高吞吐量：导入数据前把容器吞吐量调整到自动扩展上限（建议开100万RU/s以上），Cosmos DB按小时结算吞吐量费用，高吞吐量跑几小时导入完成后再调低到业务日常使用值，总成本远低于低吞吐量跑几年
• 跳过业务API层：不要通过你写的HttpGet接口导入数据，直接生成结构化的数据集文件，用官方批量导入工具直连Cosmos DB写入，去掉Web请求的额外开销，在百万RU配置下单集群可以达到每秒100万条以上的写入速度，全量2500亿条数据3-4天即可导入完成，不需要3年。

内容的提问来源于stack exchange，提问作者Sercan Eryaz