如何使用Azure Data Factory追加或合并文件？

一、源数据集基础配置 #

• 确保源数据集指向包含所有待合并文件的文件夹，而非单个文件；若需匹配特定规则的文件，可在「文件名称」处使用通配符（如*.csv）。
• 确认所有待合并文件的列结构完全一致（列名、数据类型、列顺序匹配），这是合并成功的核心前提。

二、接收器（Sink）关键设置调整 #

针对你的场景，重点修正以下配置：

• 复制行为：必须选择Merge Files选项，这是触发多文件合并的核心设置。
• 目标文件名：手动指定合并后的输出文件名（如merged_result.csv），不要留空或使用未验证的动态内容。
• 写入行为：根据需求选择：
  • 首次合并或覆盖旧文件：选Overwrite
  • 向已有文件追加数据：选Append
• 列分隔符：确保与源文件的分隔符完全一致（如逗号、制表符），避免合并后列错位。

三、常见失败原因排查 #

• 若Merge Files未生效，检查源文件是否存在编码不一致（如部分文件为GBK、部分为UTF-8），统一编码后重试。
• 验证ADF对源存储容器和目标存储容器的权限：需具备读取源文件和写入目标文件的权限。
• 若使用管道活动，确认「复制数据」活动的源设置中，已勾选「递归」（如需合并子文件夹内的文件）。

内容的提问来源于stack exchange，提问作者Patterson