如何配置Kafka Streaming应用重启后仅处理最新消息？

当然有！Kafka Streams提供了专门的配置来满足你这个需求——让应用每次重启后都忽略停机期间的旧消息，直接从启动时刻的最新offset开始消费新消息。下面是具体的实现方案：

核心配置项 #

你需要同时设置两个关键配置：

1. 强制启动时重置Offset #

使用reset.offsets.on.startup配置，将其设为true。这个配置的作用是：不管应用之前有没有提交过消费Offset，每次启动时都会强制重置Offset到指定位置。如果不设置这个，即使你配置了消费最新消息，当存在已提交的Offset时，应用还是会从上次中断的位置继续消费旧消息。

2. 指定重置到最新Offset #

配合auto.offset.reset配置，将其设为latest。这个配置告诉Kafka Streams，当重置Offset时，直接跳转到主题分区的最新位置，只消费之后产生的新消息。

代码示例（Java） #

在初始化Kafka Streams配置时添加这两个参数：

Properties streamsProps = new Properties();
// 基础配置
streamsProps.put(StreamsConfig.APPLICATION_ID_CONFIG, "real-time-notification-app");
streamsProps.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "your-kafka-broker:9092");

// 关键配置：启动时强制重置Offset
streamsProps.put(StreamsConfig.RESET_OFFSETS_ON_STARTUP_CONFIG, true);
// 重置到最新位置，只消费新消息
streamsProps.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

// 初始化并启动流应用
KafkaStreams streams = new KafkaStreams(topology, streamsProps);
streams.start();

注意事项 #

• 这个配置是每次启动都会生效的，也就是说每次重启应用，都会重新从最新Offset开始消费，完全忽略之前的所有历史消息（包括停机期间未处理的）。如果你只是想在第一次启动时这样，之后重启要继续从上次位置消费，记得在首次启动后移除reset.offsets.on.startup=true这个配置。
• 确保你的Kafka集群版本支持reset.offsets.on.startup配置（这个配置从Kafka 0.10.2版本开始引入，现在主流版本都支持）。

内容的提问来源于stack exchange，提问作者Arun Y