Azure Data Factory：如何从Avro文件解析复杂嵌套JSON对象

一、拆分嵌套Metrics数组的最优方案 #

针对大小不固定、schema存在差异的metrics数组，推荐使用Data Flow处理，步骤如下：

1. 数据源配置：将Avro文件作为Data Flow的源，确保源数据集正确指向文件存储路径。
2. 解析嵌套JSON：如果metrics列是嵌套JSON格式，先添加Parse转换，将metrics列的类型指定为JSON，自动解析为结构体类型，保留所有嵌套字段。
3. 展开数组并兼容差异schema：添加Flatten转换，选择metrics数组作为展开对象，开启Allow jagged columns选项。此设置会自动保留所有metric的不同字段，缺失字段将填充为null，无需提前定义固定schema。
4. 多层嵌套处理：若存在多层嵌套，可重复使用Parse+Flatten组合，逐层展开嵌套结构；或在Parse转换后，用Select转换结合动态表达式（如payload.metrics.nestedField）提取深层字段。

二、动态拆分Payload列的实现 #

ADF支持动态识别并拆分Payload中的所有列，核心依赖Data Flow的动态表达式能力：

1. 动态生成所有Payload列：添加Select转换，选择「Use dynamic content」模式，输入以下表达式自动提取Payload的所有键值对作为列：

   map(payload, (value, key) => ({name: key, value: value}))
   

   该表达式会遍历Payload的所有字段，将每个键作为列名、对应值作为列内容。
2. 接收器自动适配：若将数据写入SQL数据库、ADLS等目标存储，在Data Flow的接收器设置中开启Auto create table，系统会根据动态生成的列自动创建或调整目标表结构。
3. Pipeline层面的补充方案：若无需复杂转换，可直接使用Copy活动：在源的JSON设置中开启「Auto detect schema」，接收器开启「Auto create table」，即可自动拆分Payload列。但此方式对schema差异的兼容性弱于Data Flow。

注意事项 #

• 若metrics的字段名存在不一致（如metricValue和metric_val），可在Derived Column转换中添加映射规则，统一字段命名，避免列冗余。
• 测试时需使用包含所有可能字段的样本文件，确保所有字段都能被正确识别和提取。
• 若目标存储是SQL数据库，需确保账号具备表创建/修改权限，避免动态建表失败。

内容的提问来源于stack exchange，提问作者AdamCodes716