Azure Data Factory数据流动态源投影适配多文件元数据问题

要解决ADF数据流迭代不同元数据文件时投影复用旧配置的问题，核心是开启架构漂移并使用动态投影替代固定配置，具体步骤如下：

1. 启用架构漂移（核心前提） #

• 源数据集：在数据集设置的“连接”标签下，勾选允许架构漂移；如果是CSV/Parquet等格式，确保已开启“第一行作为标题”（CSV）或正确识别元数据（Parquet）。
• 源转换：进入数据流的源转换，切换到“选项”标签，勾选允许架构漂移和推断漂移列类型，确保每次读取新文件时自动识别最新的列结构。
• 接收器数据集：同样在接收器数据集的设置里勾选允许架构漂移，允许写入动态变化的列。

2. 替换固定投影为动态投影 #

放弃手动设置的固定投影列，改用动态表达式自动生成投影：

• 在数据流的源转换后，进入“投影”标签，点击添加动态内容。
• 使用schema()函数获取当前源的元数据，例如输入@schema('Source')（这里的Source是你的源转换名称），自动生成与当前文件匹配的所有列。
• 如果需要自定义投影规则（比如排除某些列），可以用filter()函数处理schema结果，例如：

  @filter(schema('Source'), (c) => !contains(c.name, 'exclude_col'))
  

3. 参数化数据集与迭代逻辑 #

确保ForEach循环每次迭代都传入正确的文件参数：

• 将源数据集的文件路径/文件名设置为参数，例如@pipeline().parameters.currentFilePath。
• 在ForEach循环中，遍历你的JSON参数文件中的文件列表，每次迭代将当前文件的路径传入数据流参数，让源动态指向目标文件。

4. 接收器动态映射 #

接收器端也要避免固定映射，适配动态列：

• 在接收器转换的“映射”标签下，选择自动映射，ADF会自动匹配源和接收器的列名。
• 如果需要更精细的映射控制，可使用动态表达式生成映射规则，例如：

  @map(schema('Source'), (c) => createMap('sourceName', c.name, 'sinkName', c.name))
  

注意事项 #

• 避免在数据流中使用依赖固定列名的转换（比如硬编码列名的派生列），如果必须使用，先用exists(schema('Source'), 'TargetColumn')判断列是否存在，再执行逻辑。
• 若使用CSV文件，确保所有文件的分隔符、编码一致，否则会导致元数据推断错误。
• ForEach循环无需强制设置为Sequential，但要确保每次迭代的数据流参数正确传入，让源重新读取新文件的元数据。

内容的提问来源于stack exchange，提问作者Nunotrt