如何查看Cosmos DB文档大小？优化Azure DWH从Cosmos DB加载方案

一、替代迭代加载的可行方案 #

1. 先导出到存储再批量导入 #

• 利用Cosmos DB的变更馈送处理器或Azure Data Factory（ADF），先将全量数据导出到Azure Blob Storage/ADLS Gen2，选择Parquet格式（压缩率高、适配列存储），再通过Azure DWH的PolyBase或COPY INTO语句批量加载：
  • 用Azure Function或变更馈送处理器将Cosmos DB数据写入存储，避免跨服务直接加载的序列化限制。
  • 在DWH中创建外部数据源和外部表指向存储文件，执行批量导入操作，这种方式利用DWH对存储数据的优化处理，效率远高于逐条迭代。

2. 拆分超大文档 #

• 若空指针错误源于单条文档过大（超过DWH字段限制或传输序列化阈值），先对Cosmos DB中的大文档拆分：
  • 用查询SELECT * FROM c WHERE LENGTH(TO_STRING(c)) > 1000000识别超大文档。
  • 将嵌套结构或大字段拆分为关联子文档，保留父ID关联，分别加载到DWH的关联表后，通过SQL JOIN还原数据关系。

3. 使用Azure Synapse Link #

• 启用Cosmos DB的Synapse Link功能，建立与Azure Synapse（含DWH）的实时连接：
  • 在Cosmos DB中创建分析存储容器，Synapse会自动同步数据到分析层。
  • 直接在Synapse Studio中查询分析存储，或用COPY INTO批量导入到DWH池，Synapse Link会自动处理序列化和传输逻辑，规避手动批次的问题。

二、确定新增数据库的最佳批次大小 #

1. 自动化测试脚本 #

• 编写Python/PowerShell脚本，针对新增库自动执行多批次测试：
  • 抽取覆盖小、中、大尺寸的文档样本。
  • 依次测试5000、10000、30000、50000等批次大小，记录成功率、耗时、资源占用（IR CPU/内存、Cosmos DB RU消耗）。
  • 选择100%成功且耗时最优的批次作为默认值，同时设置容错逻辑：出现错误时自动降级到上一个成功批次。

2. 基于文档大小分布调整 #

• 先统计目标库的文档大小分布：
  • 执行Cosmos DB查询：
    • 小文档：SELECT VALUE COUNT(1) FROM c WHERE LENGTH(TO_STRING(c)) < 100000
    • 中文档：SELECT VALUE COUNT(1) FROM c WHERE LENGTH(TO_STRING(c)) BETWEEN 100000 AND 500000
    • 大文档：SELECT VALUE COUNT(1) FROM c WHERE LENGTH(TO_STRING(c)) > 500000
  • 若大文档占比超10%，选3000-5000的小批次；若以中小文档为主，可放大到30000-50000，同时需匹配Cosmos DB的RU配额，避免限流。

3. 跨环境适配验证 #

• ACC与PRD环境的资源配置（Cosmos DB RU、网络带宽）存在差异，需在PRD做小范围验证：
  • 用ACC环境的批次大小测试PRD测试库，根据报错、耗时调整。
  • 建立动态调整机制：加载时监控日志，出现空指针/超时自动缩容批次；连续成功且资源占用低时，自动扩容批次。

三、补充说明 #

调大DWUs和IR cores未解决问题，核心原因是问题出在Cosmos DB端的文档序列化/传输限制，而非DWH的处理能力，需从数据传输源头（格式、方式）优化，而非单纯提升资源。

内容的提问来源于stack exchange，提问作者Shailendra Kad