Azure Data Factory导入投影并添加接收器时遇数据流错误

可能的原因 #

• Cache Sink的特性限制：Cache Sink是数据流里用于临时缓存数据供后续转换的组件，它本身不支持常规接收器的投影映射逻辑，添加后会干扰ADF自动导入投影的解析流程，引发冲突。
• 元数据解析优先级问题：存在Cache Sink时，ADF的元数据解析会优先处理缓存接收器的配置，忽略了Synapse专用池查询源的元数据读取，导致投影导入失败。

解决步骤 #

1. 先完成投影配置再添加Cache Sink
   • 先移除Cache Sink，执行导入投影操作，确认源数据的字段映射和投影配置保存正常。
   • 投影配置完成后，再添加Cache Sink，直接沿用已有的投影配置即可。
2. 手动配置投影字段
   • 若需保留Cache Sink，可手动复制Synapse查询返回的字段列表，在投影组件里手动添加字段并匹配对应数据类型，不依赖自动导入功能。
3. 检查查询语句的兼容性
   • 确认查询未返回嵌套结构等复杂数据类型，Cache Sink对复杂类型支持有限，可能导致元数据解析异常。
   • 先简化查询，只返回基础数据类型字段，测试投影导入是否恢复正常。
4. 刷新数据流元数据
   • 添加Cache Sink后，点击数据流编辑器顶部的刷新按钮，重新加载源和接收器的元数据，再尝试导入投影。
   • 若刷新无效，关闭并重新打开数据流编辑器，清除ADF临时元数据缓存。

内容的提问来源于stack exchange，提问作者NgoVanDuc