Spring Kafka消费多Avro事件类型时如何忽略不需要的事件避免类找不到报错

报错发生在消息进入@KafkaHandler分发逻辑之前的反序列化阶段：你开启了specific.avro.reader=true，Avro反序列化器会尝试为每个消息的Schema匹配对应的SpecificRecord实现类，你不需要的事件没有引入对应类，直接抛出异常终止流程，不会走到你写的默认处理方法。

方案1：配置反序列化器缺失类容错（推荐，改动最小） #

如果你用的是Confluent官方的Avro反序列化器，直接新增如下配置即可：

# 找不到对应SpecificRecord类时自动返回GenericRecord，不抛出异常
spring.kafka.consumer.properties.specific.avro.reader.fail.on.missing.class=false

配置后：

• 你需要的两种事件有对应类，会正常反序列化为SpecificRecord对象，进入对应@KafkaHandler处理
• 不需要的事件找不到类，会反序列化为GenericRecord对象，自动进入默认处理逻辑

小调整：需要把默认handleDefault方法的ConsumerRecord<String, SpecificRecord>参数改为ConsumerRecord<String, Object>，避免不需要的事件返回GenericRecord时出现类型转换异常，所有不需要处理的消息直接ack即可。

方案2：调整为通用Avro反序列化模式 #

修改配置关闭SpecificReader强制校验：

spring.kafka.consumer.properties.specific.avro.reader=false

此时所有消息都会反序列化为GenericRecord对象，你可以在处理方法中先判断Schema名称，只处理需要的两种事件：

@KafkaHandler(isDefault = true)
public void handleDefault(
    @Payload GenericRecord payload,
    Acknowledgment ack
) {
  // 只处理需要的事件类型
  if (payload.getSchema().getName().equals("EventNameOne") || payload.getSchema().getName().equals("你需要的第二种事件名")) {
    // 转成对应的SpecificRecord处理即可
    EventNameOne event = (EventNameOne) SpecificData.get().deepCopy(payload.getSchema(), payload);
    // 执行业务逻辑
  }
  // 所有消息都正常ack，避免阻塞
  ack.acknowledge();
}

方案3：配置反序列化失败直接丢弃 #

如果你不需要保留不需要的事件的任何信息，也可以配置ErrorHandlingDeserializer在反序列化失败时直接返回null，同时配置消费者自动跳过无效消息：

# 反序列化失败时返回null，不抛出异常
spring.kafka.consumer.properties.spring.deserializer.value.return.null.on.error=true
# 监听器自动跳过null payload的消息并提交offset
spring.kafka.listener.ack-discarded=true

注意：该方案会丢失所有反序列化失败的消息的元信息，适合完全不需要关心无关事件的场景。

内容的提问来源于stack exchange，提问作者Joan Oliveira