Avro序列化Kafka消息时含null类型/默认值字段出现嵌套的问题咨询

你遇到的字段嵌套包装问题是Avro对Union类型的默认JSON序列化行为导致的：

• Avro规定Union类型的值在序列化为JSON时，默认会用{类型名: 实际值}的嵌套结构存储，用来明确标识该值匹配Union定义中的哪一个类型，避免多类型Union出现歧义。
• 你提供的Schema中，tsEntityCreated/tsEntityUpdated定义为["null", "string"]的可选Union类型，isSynthetic定义为["boolean"]的单类型Union，都属于Union类型范畴，因此序列化后会出现嵌套包装。
• 注意：该嵌套结构仅在将Avro消息转为JSON格式查看时可见，如果你消费端配置的specific.avro.reader=true生效，直接反序列化为生成的CommonHeader类时不会影响字段取值。

• 修正Schema不合理定义
  对于不需要Union语义的字段，去掉Union包装：比如isSynthetic字段当前type配置为["boolean"]，直接修改为"type": "boolean"即可，保留default: false配置不受影响，序列化后直接输出布尔值，不会嵌套。
• 调整Avro JSON序列化配置
  对于确实需要Union语义的字段（比如可选的时间戳字段），可以通过关闭Union类型包装配置解决：
  1. 如果你使用Avro 1.10+版本的JSON编码器，构造JsonWriter时添加配置：jsonWriter.setEnableTypedWrappersForUnions(false)
  2. 如果你使用Confluent的命令行工具查看Kafka消息，执行消费命令时添加参数：--property print.avro.type.in.union=false
• 确认生产端使用SpecificRecord发送消息
  你已经通过avro-maven-plugin生成了CommonHeader的SpecificRecord类，生产端直接实例化该类填充字段后发送即可，不要手动构造GenericRecord对象，避免手动处理Union类型时引入多余包装层。

内容的提问来源于stack exchange，提问作者Karthik S