如何将Azure CosmosDB(MongoDB API)变更数据流式传输至Azure Data Lake

尝试将Azure CosmosDB（MongoDB API）的实时数据同步至Azure Data Lake Storage（ADLS），初步规划通过Function App借助Change Feed监控CosmosDB的变更，再结合Event Grid将数据存入ADLS，但执行过程中遇到多个障碍。

现存问题 #

• Azure Data Factory（ADF）数据流无法连接CosmosDB MongoDB API
• 需要监听CosmosDB的所有集合，但单个Function App实例仅能监控一个集合
• 不确定选用哪种计算资源来处理并存储数据

解决方案 #

1. ADF数据流连接问题的替代方案 #

ADF数据流目前不支持CosmosDB MongoDB API的直接连接，可采用以下两种替代方式：

• ADF复制活动：通过CosmosDB MongoDB API专用连接器配置复制任务，支持全量同步和基于时间戳/增量键的增量同步，配合定时触发器可实现准实时数据同步。
• Function App + MongoDB驱动：在Function中使用MongoDB官方驱动直接连接CosmosDB MongoDB API，读取变更数据或全量数据后，通过Azure Storage SDK写入ADLS。

2. 监听所有集合的实现方案 #

要实现全集合监听，可选择以下两种路径：

• 批量创建Function App实例：通过ARM模板或Azure CLI批量生成Function App，每个实例对应一个CosmosDB集合的Change Feed监听任务，实现分布式监控。
• 单Function App遍历集合：在Function中定时调用MongoDB API获取CosmosDB的所有集合列表，为每个集合初始化Change Feed处理器。需注意控制并发数，避免因集合过多导致资源耗尽。

3. 计算资源选型建议 #

根据数据规模、实时性要求和处理复杂度，推荐以下选项：

• Azure Function App：无服务器架构，按需计费，适合数据量波动大、实时性要求高的场景，可直接在Function内完成变更数据的读取、转换和ADLS写入。
• Azure Stream Analytics：接收Event Grid推送的CosmosDB变更事件，通过类SQL语句完成数据过滤、聚合等实时处理，再输出至ADLS，适合轻量级实时数据处理场景。
• Azure Databricks：基于Spark的大数据处理平台，适合大规模数据同步和复杂数据加工场景，可通过Spark MongoDB连接器读取CosmosDB数据，写入ADLS并支持后续数据分析。

内容的提问来源于stack exchange，提问作者Pushkar Ambatkar