Quarkus服务消费Kafka主题时消息丢失问题的修复咨询

针对你遇到的30分区主题仅5个被消费、其余分区消息无法读取的问题，结合Quarkus+SmallRye+Kafka技术栈，给出以下修复步骤：

1. 确认auto-offset-reset配置的正确性 #

SmallRye Reactive Messaging的消费者配置是基于通道维度的，全局Kafka配置不会生效。确保你在application.properties中针对消费通道正确配置：

# 替换<channel-name>为你的消费通道名称
mp.messaging.incoming.<channel-name>.auto-offset-reset=earliest

如果配置位置错误，即使设置了earliest，新消费组也只会从启动后的消息开始消费。

2. 手动重置消费组偏移量到最早位置 #

由于未消费的25个分区从未提交过偏移量，Kafka默认不会主动触发auto-offset-reset策略。使用Kafka命令行工具强制重置该消费组的所有分区偏移量：

kafka-consumer-groups.sh --bootstrap-server <kafka-broker地址>:9092 \
--group <你的消费组ID> \
--reset-offsets --to-earliest \
--topic <你的主题名称> \
--execute

执行完成后重启服务，消费组会从所有分区的最开始位置开始消费历史消息。

3. 调整消费并发数匹配分区数量 #

SmallRye默认的消费并发数可能不足以覆盖30个分区，导致仅部分分区被分配到消费线程。在配置中设置并发数与分区数一致：

mp.messaging.incoming.<channel-name>.concurrency=30

这样每个分区都会有对应的消费线程处理，避免因并发不足导致的分区消费停滞。

4. 验证偏移量提交行为 #

由于你启用了enable-auto-commit: false和@Acknowledgment(Acknowledgment.Strategy.POST_PROCESSING)，需确认消息处理完成后偏移量是否正常提交：

• 在消息处理方法中添加日志，打印当前消费的partition和offset信息，确认所有分区的消息都被处理并触发提交；
• 通过Kafka UI或命令行查看消费组详情：

kafka-consumer-groups.sh --bootstrap-server <kafka-broker地址>:9092 \
--group <你的消费组ID> \
--describe

检查所有分区的CURRENT-OFFSET是否随消费更新，LAG是否逐步减少。

5. 排查消费逻辑阻塞问题 #

如果上述步骤后仍有分区未消费，检查消息处理逻辑是否存在阻塞：

• 确保没有同步阻塞操作（如长时间IO、锁等待）导致消费线程挂起；
• 若使用批量消费，检查max-poll-records配置是否过大，导致单批处理时间过长触发分区再平衡。

内容的提问来源于stack exchange，提问作者Shady Ragab