Azure Data Factory数据流关闭后映射丢失报错求助

问题原因分析 #

1. 动态Schema的底层关联失效：你的Source读取多个相似结构的JSON，虽然手动导入了Projection，但ADF内部映射依赖的是列的唯一标识符而非仅列名。关闭重开数据流时，Source可能重新解析Schema，导致原有映射的列ID发生变化——表面看列名映射正常，但底层关联已经断裂，运行时就会提示找不到列。
2. Schema缓存不一致：ADF编辑器关闭时，可能没有正确持久化映射的元数据关联。如果你的JSON样本文件和实际读取的文件存在细微结构差异，重开后编辑器缓存的Schema与运行时校验的Schema不匹配，就会触发报错。
3. 手动映射的隐式绑定问题：手动映射时，ADF会记录列的内部引用信息。若关闭重开后Source的Projection被自动重新生成（比如开启了自动Schema检测），即使列名相同，内部引用也会失效，导致映射“假正常真失效”。

持久化映射的解决方案 #

• 用Derived Column固定Schema：在Source和Sink之间添加一个Derived Column转换，显式定义所有需要映射的列（例如目标列名 = 源列名），强制生成静态Schema。之后将Derived Column的输出连接到Sink，基于固定的Schema做映射——这样无论Source的Schema如何动态解析，Sink的映射都依赖固定的中间Schema，不会失效。
• 锁定Source的Projection：在Source的Projection设置中，取消勾选「允许Schema漂移」（如果开启的话），手动编辑并保存所有需要的列的名称、数据类型，确保每次打开数据流时Schema都是固定的，避免自动重新解析导致的关联断裂。
• 改用按名称自动映射：如果需要兼容JSON的细微结构差异，在Sink的Mapping选项卡选择「按名称映射」，同时开启「允许Schema漂移」，并设置“忽略不存在的列”等规则。这种方式不依赖固定的列ID，而是通过列名匹配，能避免底层关联失效的问题。
• 手动修复数据流JSON：导出数据流的JSON定义，查找Sink映射部分的sourceColumn字段，确认其引用的列名与Source的Projection完全一致。若存在错误引用，手动修正后重新导入数据流，再发布测试。
• 升级集成运行时：如果使用的是旧版本的ADF集成运行时，可能存在编辑器的已知bug，升级到最新版本后再测试问题是否消失。

内容的提问来源于stack exchange，提问作者Vania Yankulova