通过Bicep创建CosmosDB MongoDB集合失败的优化方案咨询

问题背景 #

使用Bicep模板创建CosmosDB MongoDB账户，包含4个数据库：

• Database A、B各含1个集合
• Database C、D各含约15个集合（总计约30个集合）

部署时遇到两类问题：

• 保留DependsOn属性时，偶尔出现2个集合初始化失败，错误信息：

  ActivityId: f88f0f96-52b5-4d18-a10a-6343cc71bcd2, Microsoft.Azure.Documents.Common/2.14.0 (Code: InternalServerError)

• 移除DependsOn属性时，80%的集合返回429 Status Code（请求过多）错误

优化的集合实例化方式 #

1. 精简依赖关系，并行化数据库创建 #

原模板中跨数据库的依赖（比如Database B依赖Database A的集合）完全不必要，会强制串行部署，拉长时间且增加单点故障风险。调整规则：

• 所有数据库仅依赖CosmosDB账户模块，实现并行创建
• 每个集合仅依赖自身的父数据库，无需跨库依赖

2. 控制集合创建的并发数 #

使用Bicep循环的batchSize参数限制并发创建的集合数量，避免触发CosmosDB的请求限流（429错误）。建议根据实际情况设置合理数值，比如batchSize: 3，每次批量创建3个集合。

3. 优化索引配置（可选） #

如果业务不需要$**通配符索引，建议移除该配置。通配符索引会显著增加集合创建时的资源开销，容易引发内部服务错误。

4. 示例修改后的Bicep代码片段 #

// 数据库仅依赖cosmosAccount，并行部署
resource databaseA 'Microsoft.DocumentDB/databaseAccounts/mongodbDatabases@2023-11-15' = {
  name: '${accountName}/database-a'
  tags: tags
  properties: {
    resource: { id: 'database-a' }
  }
  dependsOn: [ cosmosAccount ]
}

resource databaseB 'Microsoft.DocumentDB/databaseAccounts/mongodbDatabases@2023-11-15' = {
  name: '${accountName}/database-b'
  tags: tags
  properties: {
    resource: { id: 'database-b' }
  }
  dependsOn: [ cosmosAccount ]
}

// 集合创建添加batchSize控制并发，仅依赖父数据库
resource clist 'Microsoft.DocumentDB/databaseAccounts/mongodbDatabases/collections@2023-11-15' = [for (collection, index) in defaultCollections: {
  parent: databaseC
  name: '${collection.name}'
  properties: {
    resource: {
      id: collection.id
      shardKey: { _id: collection.shardKey }
      indexes: [ 
        { key: { keys: [ collection.indexKey ] } } 
        // 移除不必要的$**索引，减少负载
        // { key: { keys: [ '$**' ] } }
      ]
    }
  }
}] {
  batchSize: 3 // 可根据实际情况调整并发数
}

resource dlist 'Microsoft.DocumentDB/databaseAccounts/mongodbDatabases/collections@2023-11-15' = [for (collection, index) in defaultCollections: {
  parent: databaseD
  name: '${collection.name}'
  properties: {
    resource: {
      id: collection.id
      shardKey: { _id: collection.shardKey }
      indexes: [ 
        { key: { keys: [ collection.indexKey ] } } 
      ]
    }
  }
}] {
  batchSize: 3
}

额外建议 #

• 若必须保留通配符索引，可尝试分批次部署C和D的集合，通过dependsOn: [clist]让D的集合在C的集合创建完成后再启动，避免并发过载，但会增加总部署时间。
• 检查CosmosDB账户的吞吐量配置，若使用共享吞吐量，确保数据库级别的吞吐量足够支撑批量集合创建的负载。

内容的提问来源于stack exchange，提问作者Bryan