Data Factory中如何为多个CSV文件批量传递schema mapping

你遇到的单文件schema配置不生效的核心原因是：参数化数据集的默认schema是静态绑定导入时采样的首个文件，ForEach遍历其他文件时如果没有开启动态schema能力，就会沿用固定静态映射导致类型检测、字段匹配仅对首个文件生效。以下是可直接落地的无手动重复操作方案：

方案1：开启Schema漂移实现自动类型推断（最省事，适配所有CSV结构完全一致的场景） #

• 把CSV源数据集的Schema导入选项设置为无（None），不要提前导入固定字段结构
• 进入Data Flow编辑页，在源转换配置中勾选允许Schema漂移，取消勾选验证Schema选项
• 源转换的投影栏不要手动导入任何字段，保持空投影状态：数据流运行时会自动读取每个遍历到的CSV表头，自动完成基础类型推断
• 如果需要统一固定字段类型，在源转换后追加派生列转换，对需要规范类型的字段显式做类型转换，比如用toDecimal(pay_amount,18,2)统一金额字段类型、toTimestamp(order_time,'yyyy-MM-dd HH:mm:ss')统一时间字段类型，彻底避免不同文件自动推断的类型不一致问题
• Sink端同样开启Schema漂移，字段映射选择自动映射，即可自动对齐字段完成写入，不需要为每个文件单独配置映射。

方案2：参数化统一映射规则（适配字段存在少量差异、需要严格固定映射逻辑的场景） #

• 提前整理好统一的Schema映射规则，存储为JSON格式的控制文件，规则示例如下：

[
  {"source_col":"order_id","sink_col":"order_id","data_type":"Integer"},
  {"source_col":"user_name","sink_col":"user_name","data_type":"String"},
  {"source_col":"pay_amt","sink_col":"pay_amount","data_type":"Decimal(18,2)"}
]

• 在ForEach活动调用Data Flow之前，新增Lookup活动读取上述JSON控制文件，配置Lookup的输出为数组格式
• 给Data Flow新增一个数组类型的参数，将Lookup输出的映射规则数组作为参数传入Data Flow
• 在Data Flow的Sink转换映射设置中，选择动态映射模式，绑定传入的映射规则参数，同时勾选忽略不匹配列选项。后续所有遍历到的CSV文件都会统一套用这套映射规则做字段匹配、类型转换，不需要逐文件配置。

方案3：通配符批量读取替代ForEach单文件循环（性能最优，适配同路径下同结构CSV场景） #

• 移除当前ForEach循环逐文件传文件名的逻辑，直接在CSV源数据集的文件路径配置中使用通配符，比如用*.csv匹配目标文件夹下的全部30个CSV文件
• 在Data Flow源转换中勾选允许Schema漂移，选择从首个文件推断Schema，同时可按需勾选将文件名存储为列用于数据溯源
• 配置完成后ADF会一次性批量读取所有匹配到的CSV文件，统一应用同一套Schema检测、类型转换、字段映射规则，相比ForEach循环逐文件运行的模式，执行效率可提升数倍，也不会出现单文件schema配置不生效的问题。

注意事项 #

如果部分CSV存在分隔符、编码不一致的情况，需要提前在源数据集中统一配置固定的分隔符、编码格式，不要使用自动检测模式，避免个别文件表头解析失败导致Schema匹配错误。

内容的提问来源于stack exchange，提问作者valerio95