AVRO record类型字段默认值配置及全传递兼容模式读取旧数据异常问题

问题结论与解决方案 #

1. 配置正确性说明
   你当前对嵌套record类型字段的默认值配置完全符合Avro官方规范，record类型字段支持使用JSON对象格式的非null默认值，并非只能将null作为默认值。

2. 异常根因定位
   你遇到的所有异常均属于组件版本的已知缺陷，和配置本身无关：

• 读取旧消息抛出EOF Exception：是1.8.x及更早版本的Avro核心库的解析缺陷，旧版本在处理新增嵌套record类型字段的默认值时，不会主动填充默认值，反而会尝试读取二进制流中不存在的字段数据，最终触发EOF报错。
• 嵌套record字段部分默认值不生效：同样是旧版本Avro库的解析逻辑bug，解析嵌套record的默认值时仅能识别第一个字段的默认配置，后续字段会读取内存脏数据，导致出现和预设默认值不符的异常数值。
• 错误类型的default值能通过兼容性校验：是低版本Confluent Schema Registry的校验漏洞，仅校验了「新增字段是否配置default值」的规则，未校验default值与字段类型的匹配性，该问题在7.x及以上版本的Schema Registry中已修复。

3. 修复方案

• 优先升级方案：将项目依赖的Avro核心库升级到1.11.0及以上稳定版，同时将Schema Registry服务升级到7.0及以上稳定版，你当前的配置无需做任何修改，升级后即可正常实现V2 schema消费V1消息时自动填充默认值的效果。
• 临时兼容方案：如果暂时无法完成组件升级，可以将produktType字段的类型调整为联合类型["null", "ProduktType"]，默认值设为null，消费者读取到该字段为null时，手动填充预设的默认对象即可，等所有旧消息消费完成后再迭代为非null版本的schema。

内容的提问来源于stack exchange，提问作者wemu