Kafka消费者组部分分区无偏移量且无法接收消息排查

核心问题根源 #

你遇到的问题本质是同一个消费者组ID被跨主题订阅滥用：

• 你的2个消费者仅订阅myapp.mymodule.mytopic，但组内还有其他应用/组件用同一个mygroup1组ID订阅其他主题
• Kafka消费者组的设计逻辑是：组内所有消费者共同承担组内订阅的所有主题的分区分配任务。但那些跨主题的消费者根本不会拉取myapp.mymodule.mytopic的分区，导致该主题的部分分区没有被任何活跃的、真正订阅它的消费者认领，所以这些分区的CURRENT-OFFSET和LAG显示为-
• 当这些无人认领的分区产生新消息时，因为没有消费者提交位移，组协调器会认为这些分区已被组内其他消费者"负责"（实际并未处理），即便你的2个消费者重启，也不会被分配到这些分区，导致消息无法被消费
• 关闭你的2个消费者后，组内只剩订阅其他主题的消费者，自然只会显示那些主题的分区信息，myapp.mymodule.mytopic的分区会被移除出组的活跃分配列表

具体解决方案 #

1. 拆分消费者组（最关键，必须优先做） #

立即将订阅不同主题的应用拆分到独立的消费者组：

• 给你的2个消费者分配新的组ID（比如mygroup1-mytopic），仅订阅myapp.mymodule.mytopic
• 让其他使用mygroup1的应用保留原组ID，仅订阅它们自己的主题
• 这是Kafka的核心最佳实践：同一个消费者组内的所有消费者必须订阅完全相同的主题集合，否则必然出现分区分配异常

2. 修复未消费的分区消息 #

针对myapp.mymodule.mytopic中显示-的分区，手动重置位移让新组能消费历史消息：
使用Kafka自带的kafka-consumer-groups.sh工具执行（替换<kafka-broker>为你的Broker地址）：

kafka-consumer-groups.sh --bootstrap-server <kafka-broker>:9092 --group mygroup1 --topic myapp.mymodule.mytopic --reset-offsets --to-latest --execute

如果需要消费最早的未处理消息，把--to-latest换成--to-earliest

3. 验证配置合理性 #

你的消费者配置里：

• ENABLE_AUTO_COMMIT_CONFIG=false：没问题，但要确保消费逻辑中手动提交位移（包括同步或异步提交）
• MAX_POLL_RECORDS_CONFIG=1：单次拉取1条消息会大幅降低消费性能，若不是业务强制要求，建议调大（比如500-1000）
• MAX_POLL_INTERVAL_MS=120000和SESSION_TIMEOUT_MS=45000：配置合理，符合Kafka的时间窗口要求

内容的提问来源于stack exchange，提问作者Rajesh Jose