Azure Data Factory数据流Aggregate转换结果错误求助
ADF数据流统计项目数量异常排查方案
检查数据流预览的数据采样设置
ADF数据流预览默认采用Top 1000行采样,哪怕源数据有1600条,预览时Aggregate转换只会基于这1000条做统计。你可以在预览面板右上角的「采样」选项里切换为「全部数据」,重新运行预览后查看统计结果是否正确。确认Aggregate转换的分组配置
检查Aggregate转换里的分组键是否误加了不必要的字段——比如如果把主键_id设为分组键,统计出来的是去重后的分组数而非总条数。正确配置应该是不设置任何分组键,仅添加聚合函数count(_id)作为输出列。验证源数据集的限制条件
查看源数据集的「源选项」,确认是否在SQL查询以外的地方设置了行限制(比如Top N过滤),或是启用了分区过滤导致仅读取部分数据。既然直接SQL查询结果正确,说明源数据本身无问题,但数据流的源配置可能存在隐性限制。测试完整流水线运行(而非仅预览)
数据流预览是采样模式,实际运行流水线时会读取全量数据。可以触发一次完整的流水线运行,将统计结果写入存储或其他表中,查看最终统计值是否与直接SQL查询结果一致。
内容的提问来源于stack exchange,提问作者Dmitriy Ryabin
相关产品推荐
相关产品推荐

