Kafka 1.0.0单分区主题消费最后一条消息返回0条的问题

针对你遇到的问题——单分区Kafka主题中，手动seek到endOffset-1后poll始终返回0条记录，但主题非空，我结合Kafka 1.0.0的特性和你的配置情况，整理了几个排查方向和解决方法：

核心问题分析 #

首先明确：Kafka的endOffsets()返回的是下一条即将写入消息的偏移量，所以最后一条消息的偏移确实是endOffset - 1（比如你日志里的endOffset=377409，对应最后一条消息偏移是377408）。你遇到的问题大概率和消费者的poll逻辑、Kafka版本特性有关。

具体解决步骤 #

1. 先验证目标偏移的消息是否真实存在 #

不要先假设偏移377408有消息，先用Kafka自带的命令行工具验证：

kafka-console-consumer.sh --bootstrap-server 你的Kafka地址:9092 --topic 你的主题名 --partition 0 --offset 377408 --max-messages 1

• 如果这条命令也拿不到消息：说明该偏移的消息可能被日志清理策略删除，或者写入时出现了异常（比如事务中断）。此时你需要检查Kafka的日志保留配置，或者确认消息生产端是否成功写入了该偏移的消息。
• 如果命令行能拿到消息：问题出在你的消费者代码或配置上，继续往下排查。

2. 调整poll的超时时间 #

很多时候poll返回0是因为超时设置过短（比如用了poll(Duration.ofMillis(0))），导致消费者还没从broker拉取到数据就返回了。把poll的超时时间设置为一个合理值，比如1秒：

// 替换原来的poll调用
ConsumerRecords<Long, String> records = consumer.poll(Duration.ofSeconds(1));

3. 优化seek后的poll逻辑 #

在Kafka 1.0.0的assign模式下，调用seek()后第一次poll主要是用来和broker同步消费者状态，可能不会返回数据。可以尝试先执行一次短超时的poll，再进行真正的数据拉取：

final TopicPartition tp = new TopicPartition(topic, 0);
final Long endOffset = consumer.endOffsets(Collections.singleton(tp)).get(tp);
consumer.assign(Collections.singleton(tp));
consumer.seek(tp, endOffset - 1);

// 第一次poll：同步状态，不关心返回结果
consumer.poll(Duration.ofMillis(100));
// 第二次poll：真正拉取数据
ConsumerRecords<Long, String> records = consumer.poll(Duration.ofSeconds(1));

4. 检查并补充消费者配置 #

虽然你已经做了基础配置，但可以补充两个可能影响的参数：

// 确保偏移重置策略为latest，避免手动seek被干扰
properties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
// 增加fetch.min.bytes，确保broker积累足够数据再返回（可选，针对小消息场景）
properties.put(ConsumerConfig.FETCH_MIN_BYTES_CONFIG, "1");

5. 考虑Kafka 1.0.0的版本bug #

Kafka 1.0.0是比较老旧的版本，存在一些消费者在assign模式下seek到末端的已知问题。如果上述方法都无效，建议升级到较新的稳定版本（比如2.0.0+），这类问题在后续版本中已经被修复。

额外说明 #

你尝试切换isolation_level没有效果，说明问题和事务消息无关，重点还是放在消费者的拉取逻辑和版本特性上。

内容的提问来源于stack exchange，提问作者Coen Damen