ADF动态Schema漂移数据流仅shop_id有值其余列为空求助

核心排查点 #

1. 确认漂移列的标记状态 #

ADF中从ExternalCall返回的动态列不会自动被标记为漂移列，哪怕预览能看到数据：

• 打开ExternalCall后续转换（如alterArray）的Schema drift设置，确保Detect drift处于开启状态
• 核对漂移列的类型与SQL表列类型完全匹配，注意列名大小写敏感（ADF默认区分大小写，若SQL数据库排序规则不区分，需保证映射列名完全一致）

2. 验证CachedMappings映射逻辑 #

检查动态映射规则是否正确关联ExternalCall的返回体：

• 确认cachedMappings的表达式正确提取body属性，比如是否使用body().Transaction_Id这类精准路径
• 映射的目标SQL列名与ExternalCall返回的属性名必须大小写完全一致，否则会因匹配失败导致写入空值

3. SQL Sink的Schema漂移配置细节 #

即使开启了Schema漂移，以下配置可能导致异常：

• 确认Allow schema drift设为On，且Import schema设为None（避免固定Schema覆盖动态映射）
• 若使用Upsert/Update动作，检查Key columns（由split($sinkKeys,',')生成的Transaction_Id、Order_Id）在数据流中是否有有效值，键匹配失败会导致更新/插入空值
• 若SQL表采用大小写敏感排序规则，必须保证数据流列名与SQL表列名大小写完全一致，ADF不会自动转换大小写

4. 转换顺序与列优先级检查 #

shop_id是显式派生列，其他列为漂移列，需确认：

• cachedMappings映射步骤在ExternalCall之后、派生列之前执行，避免派生列逻辑覆盖漂移列映射
• 检查是否有Select转换意外过滤了漂移列，预览显示正常不代表执行时Schema漂移列被正确保留

5. 数据流执行日志排查 #

通过ADF监控面板查看数据流运行日志：

• 查看ExternalCall的输出日志，确认返回body中目标属性是否有非空值
• 查看sqlSink的输入日志，判断写入前的数据流中其他列是否有值：若日志为空，问题出在前置转换；若日志有值但写入SQL为空，问题在Sink配置

快速验证步骤 #

• 在ExternalCall后添加Select转换，手动勾选所有漂移列显式保留，再连接到Sink测试写入
• 临时将Sink的Table action改为Truncate table+Insert，排除Upsert/Update的键匹配问题
• 用toString(body().目标列名)创建派生列，测试该列能否写入SQL，判断是映射问题还是Schema漂移识别问题

内容的提问来源于stack exchange，提问作者Bryan Gateley