Azure Data Factory中如何在复制前统计CosmosDB MongoDB文档数量？

当然可以通过ADF管道完成这个需求，以下是两种实用的实现方式：

方法一：使用Lookup活动执行聚合查询 #

这是最直接的方式，无需额外资源：

• 在ADF管道中添加Lookup活动，数据源选择你已配置好的CosmosDB MongoDB连接
• 在查询输入框中，使用MongoDB聚合语法来统计文档总数，示例语句：

  db.rips.aggregate([{ $count: "totalDocuments" }])
  

  如果需要过滤条件，可先添加$match阶段，比如统计特定状态的文档：

  db.rips.aggregate([{ $match: { status: "processed" } }, { $count: "totalDocuments" }])
  

• 执行Lookup活动后，统计结果会存放在活动输出中，你可以通过表达式@activity('你的Lookup活动名称').output.firstRow.totalDocuments获取这个数值，后续可将其存入变量、用于分支判断或传递给其他活动。

方法二：通过Azure Function活动调用自定义统计逻辑 #

如果需要更复杂的统计逻辑（比如多条件组合、自定义计算），可以借助Azure Function：

• 编写一个简单的Azure Function，使用MongoDB官方驱动连接你的CosmosDB MongoDB实例，执行类似db.rips.find(过滤条件).count()的统计逻辑，并返回结果
• 在ADF管道中添加Azure Function活动，配置好函数的调用参数，获取返回的统计数值后再用于后续流程

注意事项 #

• 确保你的CosmosDB MongoDB API版本支持所使用的聚合语法，部分旧版本可能需要调整写法
• 若文档量极大，统计操作可能会消耗较多RU，建议在低峰时段执行或调整CosmosDB的吞吐量设置

内容的提问来源于stack exchange，提问作者Maryory Cortes