这是Kafka的一个可能的异常,它可能会在使用Kafka Consumer API时发生。它发生在当应用程序在尝试从一个旧的Offset开始重新消费记录时,而Kafka Broker已经删除了这些记录时。以下是一个可能的解决方法,可以在应用程序中使用:
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "test");
props.put("enable.auto.commit", "false");
props.put("auto.offset.reset", "earliest");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("my-topic"));
try {
while (true) {
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord<String, String> record : records) {
System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
// process the record
}
consumer.commitSync();
}
} catch (Exception e) {
e.printStackTrace();
} finally {
consumer.close();
}
这个解决方法使用了Kafka的Consumer API,其中设置了一些重要的属性,如“enable.auto.commit”,这个属性将消费者的偏移量提交给Broker,以便维持消费者和Broker之间的同步。此外,还使用了KafkaConsumer的“commitSync()”方法,它可以在消费应用程序完成处理记录后,手动提交消费者偏移量。
实现这个解决方法后,您应该能够解决可能出现的“SubscriptionState.maybeSeekUnvalidated:397”异常。