ADF数据流分组后输出行数固定为1000的问题求助

问题核心原因 #

你遇到的情况几乎可以确定是数据流调试预览模式的限制，或是Excel源读取配置导致实际仅加载了前1000行数据，而非完整的10万+行。

针对性解决方案 #

• 通过管道活动触发数据流，关闭调试预览模式
  数据流编辑器的调试模式默认仅读取前1000行用于快速预览，无论数据源实际规模多大。必须通过管道中的数据流活动触发正式运行，确保ADF读取完整的Excel数据。注意：若之前开启过调试会话，需先结束调试再执行管道。

• 检查Excel源的读取限制配置
  进入Excel源的设置界面，查看「高级」选项卡下是否手动设置了行限制（比如输入了1000）。同时确认目标工作表无行级过滤或隐藏设置，保证ADF能读取到所有10万+行数据。

• 验证Surrogate Key的RowNumber生成逻辑
  确认Surrogate Key转换的参数：起始值设为1，增量设为1，确保RowNumber从1开始连续递增。可在分组操作前添加聚合转换，用count(RowNumber)统计总行数，验证实际读取的数据量是否为10万+。若统计结果为1000，说明源数据读取环节存在问题。

• 确认分组操作的聚合配置
  分组转换按BatchNumber分组后，需使用collect(*)函数将该批次所有行收集为数组，此时输出行数等于批次数（即ceil(总数据量/$batchSize)）。若误用count(*)这类聚合函数，输出行数会是批次数，但如果实际仅读取了1000行，就会出现你看到的10批/20批的情况。

内容的提问来源于stack exchange，提问作者zXynK