如何使用Azure Data Factory将列序不同的同结构CSV加载至单表？

我的Blob存储单个文件夹中有200个CSV文件，均包含90个列名完全一致的列，但部分文件的列顺序不同。例如，在部分文件中"transaction_data"是第一列，而在其他文件中可能是第8或73列。我每天通过自动化流程接收若干此类文件，无法手动审核或按列序分组。无法通过文件名或文件元数据判断哪些文件的列序符合作为接收器的SQL Database表的"正确顺序"，列序完全随机。我知道可以通过Python脚本预处理统一列序，但这额外增加了工作量、时间和成本，而这似乎是Azure Data Factory原生应支持的功能，可能是我操作有误。我当前使用的数据流配置如下：

• 源设置已勾选"Allow Schema Drift"
• 源选项使用通配符路径查找所有*.csv文件
• 接收器为Azure SQL Database表
• 接收器选项已勾选"Allow Schema Drift"
• 接收器映射已勾选"Auto mapping"
  但实际情况是，数据流会以第一个读取的文件列序为准，应用到所有后续处理的文件，导致接收器表中部分行的"transaction_data"等数据存入错误列。肯定有方法可以让系统单独评估每个文件？根据Azure Data Factory的文档和提示信息，它应通过CSV的字段名进行映射，实际上当我勾选接收器映射的"Auto mapping"选项时，提示文字显示"All inputs mapped by name including drifted columns"，这正是我需要的，但实际行为并非如此。

问题核心 #

使用通配符批量读取CSV时，ADF会将所有文件合并为单一数据源schema，强制沿用第一个文件的列顺序解析后续文件。即使开启Allow Schema Drift和Auto mapping，也无法突破批量读取时统一schema的限制，最终导致数据列映射错位。

原生无代码解决方案：Get Metadata + ForEach循环逐个处理 #

该方案让每个文件单独解析表头并按列名映射，完全规避批量读取的schema统一问题：

1. 添加Get Metadata活动
   • 数据源选择目标Blob存储文件夹
   • 勾选Child items选项，获取文件夹内所有CSV文件的详细列表（含路径、名称）
2. 添加ForEach循环活动
   • 循环项设置为@activity('Get Metadata活动名称').output.childItems
   • 可选：若SQL表写入无并发冲突，可开启Parallel模式提升处理速度；否则保持Sequential
3. 循环内部添加数据流活动
   • 源配置：
     • 数据源指向Blob存储，不使用通配符，通过动态内容指定当前循环的文件：@item().path（完整文件路径）
     • 勾选Allow Schema Drift，确保读取当前文件的完整表头列名
   • 接收器配置：
     • 选择Azure SQL Database表
     • 勾选Allow Schema Drift，开启Auto mapping
     • 此时每个文件都会单独基于自身列名与SQL表列名做精准映射，不受其他文件列序影响

备选方案：派生列强制统一列序 #

若不想用循环，可在批量读取后通过派生列固定输出列序（需提前知晓所有90个列名）：

1. 保持原有批量读取的源配置
2. 添加派生列转换
3. 手动定义所有目标列，例如：
   • transaction_data = transaction_data
   • user_id = user_id
   • ...（依次列出全部90个列）
     该操作会强制从源数据中按列名提取值，统一输出列序后再写入SQL表

关键注意事项 #

• 确保SQL表列名与CSV文件列名完全匹配（大小写敏感），否则自动映射会失效
• 若每日新增文件数量较大（上千级），ForEach循环的并行模式可大幅提升处理效率
• 无需额外Python脚本，完全通过ADF原生组件实现需求

内容的提问来源于stack exchange，提问作者Adam Rosenscruggs