如何在NiFi中正确解析嵌套Avro记录并提取子记录至MySQL？

嘿，我来帮你梳理下这个问题——你遇到的核心点是AvroRecordReader默认只能读取Avro的顶层记录，没法直接指定把嵌套的employers子记录作为处理单元，所以直接用它配合PartitionRecord是行不通的。不过不用急，有两种靠谱的方案可以解决，不一定非要先做JOLT预处理，看你更习惯哪种方式：

方案1：用QueryRecord提取嵌套记录（更直观） #

如果你熟悉SQL语法，这个方案会很顺手。QueryRecord处理器支持用类SQL语句来查询Avro记录，能直接把嵌套的数组型子记录展开成独立的顶层记录。

具体配置步骤大概是：

• 给QueryRecord配置AvroRecordReader作为输入 reader
• 在查询语句里用UNNEST函数展开employers数组（假设它是数组类型），比如：

  SELECT emp.id, emp.name, emp.department, /* 其他你需要的employers字段 */
  -- 如果需要关联顶层记录的字段，也可以加上，比如顶层的user_id
  flowfile.user_id 
  FROM FLOWFILE, UNNEST(employers) AS emp
  

• 配置AvroRecordWriter作为输出 writer，这样输出的流文件就是每条独立的employers记录了
• 之后再把输出流接到PartitionRecord和PutDatabaseRecord，就可以正常按子记录值分区、插入MySQL了

方案2：用JoltTransformRecord预处理（适合复杂结构调整） #

如果你的Avro结构有更复杂的转换需求（比如字段重命名、过滤特定子记录），可以用JoltTransformRecord先把嵌套的employers拆成顶层记录。

比如用JOLT的shift spec来展开数组：

{
  "employers": {
    "*": {
      "@": "[&1]",
      "@(2,user_id)": "[&1].user_id" /* 关联顶层字段的话可以这么写 */
    }
  }
}

这个spec会把每个employers数组元素转换成一条独立的记录，同时可以带上顶层的关联字段。配置好AvroRecordReader和AvroRecordWriter后，输出的流文件就是可直接处理的单条employers记录了。

总结 #

直接用AvroRecordReader配合PartitionRecord是搞不定嵌套记录的，但你不需要局限于JOLT预处理——QueryRecord往往是更简单直接的选择，尤其是当你只需要提取嵌套子记录的时候。选哪种方案完全看你的具体需求和技术偏好。

内容的提问来源于stack exchange，提问作者Nathan