Azure Data Factory映射数据流动态Flatten组件配置问题求助（REST数据源转Delta表场景）

我之前在处理多端点遍历的ADF映射数据流时，遇到过一模一样的问题，下面是针对每个问题的具体解决办法：

1. 元数据残留问题 #

这个问题的核心是ADF数据流默认会复用开发阶段生成的静态投影元数据，导致后续端点执行时带上无关列。解决步骤：

• 清除Source的静态投影：打开Source转换的Projection设置，删除所有手动导入的列，选择None作为投影模式。
• 启用运行时Schema自动推断：在Source的Settings中，找到Schema validation选项，设置为None，允许数据流每次运行时根据当前端点的API响应自动推断schema。
• 添加动态列筛选（可选）：如果还是有残留列，在Flatten之后添加一个Select转换，使用动态表达式只保留当前数据存在的列。比如在Map columns中选择Dynamic mapping，然后用keep()函数指定要保留的列，示例表达式：

  keep(keys(body))
  

2. 数据类型冲突报错 #

不同端点同名字段类型不一致会触发Sink的schema合并失败，解决思路是统一强制转换类型：

• 添加派生列统一类型：在Flatten之后插入一个Derived Column转换，对存在类型冲突的字段（比如Id）进行强制转换。例如：
  • 统一为字符串类型：toString(Id)
  • 统一为数值类型：toBigInt(Id)
    这样不管源数据是Short、String还是其他类型，都转换成统一类型，Sink合并schema时就不会报错。
• Sink端增强兼容性：在Sink的Settings中，确保Allow schema drift和Merge schema都启用，同时把Type conversion mode设置为Force cast，放宽类型检查限制。

3. 无投影配置时Flatten报错 #

当没有Source投影时，ADF无法识别body.value是数组类型，导致Flatten找不到展开目标。解决步骤：

• 手动定义极简投影：在Source的Projection中，手动添加一个value列，类型设置为Array（不需要指定数组内部的结构）。这样ADF就会识别到body.value是数组，Flatten组件就能正常选择它作为展开层级。
• 先提取数组列再Flatten：如果不想手动定义投影，可以在Source之后添加一个Derived Column转换，创建一个新列arrayData，表达式为：

  body.value
  

  然后在Flatten组件中，选择arrayData作为Unroll by的目标列，这样就能正常展开数组了。

另外还有个通用优化点：在Foreach活动中，确保数据流的Run on设置为Each iteration，让每个端点的数据流任务独立运行，避免元数据复用。

内容的提问来源于stack exchange，提问作者Maus