Azure Data Factory复制JSON至Azure SQLDB部分字段缺失的原因及解决方法

以下是导致JSON字段未同步到Azure SQLDB的常见原因：

• 目标SQLDB表未创建对应字段：如果目标表没有Businessday、Finaldeadlineday等列，ADF复制时找不到匹配的目标列，会直接忽略这些字段。
• 复制活动字段映射未配置完整：ADF默认可能只自动映射部分字段，或者手动配置映射时遗漏了目标字段，导致数据无法写入。
• 字段类型/格式不兼容：JSON中的字段是复杂类型（如嵌套对象、数组），而SQLDB列是简单类型，ADF无法自动转换会跳过；或者字段名大小写不匹配（ADF映射默认区分大小写，比如JSON是BusinessDay，SQL列是businessday，会导致匹配失败）。
• JSON数据源配置错误：比如JSON数据集指定了错误的结构类型（如把单文档当成数组），或者设置了限制读取范围的JSON路径，导致ADF无法读取到目标字段。
• 数据存在异常：部分JSON数据中目标字段缺失、为空或格式不符合SQL列要求，且未配置容错规则时，ADF可能跳过这些字段的写入。

1. 检查并调整目标SQLDB表结构

   • 确保目标表已创建所有需要的字段，字段类型与JSON数据兼容：例如Businessday对应SQL的date或datetime类型，CommentaryWriter对应nvarchar(max)或varchar类型。
   • 确认字段名匹配，若需要忽略大小写，可在ADF映射时开启不区分大小写匹配。

2. 配置复制活动的完整字段映射

   • 进入复制活动的「映射」选项卡，点击「导入架构」，分别从源JSON数据集和目标SQLDB数据集导入完整字段列表。
   • 逐一确认Businessday、Finaldeadlineday等字段已添加到映射中，源字段与目标字段一一对应。
   • 若JSON存在嵌套结构，需先使用ADF数据流动的「扁平化」转换将嵌套字段拆为顶层字段，再进行映射；或直接在SQLDB中创建JSON类型列存储完整嵌套数据。

3. 修正JSON数据源配置

   • 在JSON数据集中，确认「结构」设置正确：单条JSON对象选「Document」，JSON数组选「Array of documents」。
   • 检查是否设置了多余的「JSON路径」，若路径限制了读取范围（如仅读取子对象），需移除该限制以读取所有顶层字段。

4. 处理类型转换与容错

   • 若JSON字段类型与SQL列不匹配（如JSON日期是字符串格式），在映射时为该字段设置「类型转换」，指定格式字符串（如yyyy-MM-dd）完成转换。
   • 在复制活动的「设置」选项卡，开启「跳过错误行」并设置合理的错误阈值，同时启用「日志记录」将错误信息存储到Azure Blob，便于排查未同步的具体原因。

内容的提问来源于stack exchange，提问作者Patterson