咨询Azure Data Factory中高效合并千份同结构文件的方法

针对你需要合并千份列头一致的文件且严格保留行序的需求，以下是几种更高效的实现方式：

1. 优化Data Flow批量处理逻辑（替代逐个Union） #

你之前用Union处理少量文件，针对千份文件可直接批量读取+行序标记：

• 配置源数据集时，指向目标文件夹，使用通配符（如*.csv）一次性读取所有同类型文件，无需手动添加多个源节点。
• 在Data Flow的源转换中，新增两个计算列：
  • 用rowNumber()函数生成RowInFile列，标记每个文件内的行顺序；
  • 用filename()函数生成SourceFileName列，记录当前行所属的源文件。
• 后续添加排序转换，先按SourceFileName（如需按文件顺序合并）再按RowInFile排序，确保行序完全匹配源文件，最后写入目标数据集。

2. Copy活动+后序排序修正（兼顾效率与行序） #

Copy活动因并行读取打乱行序，但可通过附加列标记顺序后修正：

• 在Copy活动的源设置中，添加两个附加列：
  • SourceFileName：取值为系统变量@item().name（若用ForEach遍历文件）或直接提取当前文件名；
  • RowIndex：使用源端支持的行号函数（如部分文本数据源可直接启用“保留行号”选项）标记行在文件内的位置。
• 将数据先写入中间存储（如Azure SQL DB或ADLS Gen2的临时文件），再通过Data Flow或SQL查询，按SourceFileName和RowIndex排序后合并为最终文件。

3. 自定义代码方式（完全可控行序） #

若对行序要求极高，可通过自定义脚本实现严格顺序合并：

• Azure Functions：编写Python脚本，按文件名排序遍历目标文件夹，逐个读取文件并追加到目标文件，全程按顺序处理，完全保留每个文件的行序。在ADF中添加“Azure Function”活动调用该脚本。
• Databricks Notebook：在Notebook中用Scala/Python按指定顺序读取文件夹内的文件，逐个追加写入，完成后在ADF中调用该Notebook活动。

内容的提问来源于stack exchange，提问作者pandasandnumpy