Avro Schema反序列化IndexOutOfBoundsException索引越界异常问题咨询

问题根因 #

这个报错的核心原因是消费者侧的SpecificDatumReader没有正确加载消费者侧的旧Schema作为读取基准，反而直接用了生产者的新Schema进行字段解析：

• 若SpecificDatumReader构造时只传入一个Schema参数，Avro会默认把该Schema同时作为writer schema和reader schema使用，不会触发官方文档提到的Schema演进适配逻辑。
• 此时解析生产者发来的数据时，字段索引完全按照生产者新Schema生成，读到第三个字段middleName时就会尝试调用索引为2的put方法，而消费者侧编译生成的Employee类只有2个字段，自然抛出索引越界异常。
• Avro官方文档描述的「按名称匹配字段、自动忽略多余字段」规则，必须同时传入writer schema和reader schema两个参数给SpecificDatumReader才会生效。

解决方案 #

根据你的使用场景选择对应处理方式：

直接使用原生Avro API读取 #

构造SpecificDatumReader时显式传入双Schema参数，第一个为拉取到的生产者writer schema，第二个为消费者侧的旧reader schema：

SpecificDatumReader<Employee> datumReader = new SpecificDatumReader<>(writerSchema, consumerReaderSchema);

结合Kafka + Confluent Schema Registry使用 #

在消费者配置中添加如下参数即可自动适配：

# 开启SpecificRecord读取模式，自动提取本地编译的Specific类的Schema作为reader schema
specific.avro.reader=true
# 按记录名匹配Schema，确保拿到正确的writer schema做适配
value.subject.name.strategy=io.confluent.kafka.serializers.subject.RecordNameStrategy

配置生效后，Avro会自动做新旧Schema的字段映射，忽略消费者没有的多余字段，不会再按writer schema的索引调用put方法。

校验方法 #

如果配置后仍报错，可以打印SpecificDatumReader的getExpected()方法返回值，确认是不是消费者侧的旧Schema，如果不是，检查本地依赖包中的Employee类是否是不带middleName的正确版本，或者配置项是否被其他配置覆盖。

内容的提问来源于stack exchange，提问作者VKR