Kafka同topic不同groupId消费者无法读取消息问题排查

故障根因可能性 #

• 异常消费者组的已提交偏移量已超出有效范围，且异常被静默吞掉
  Kafka默认会定期删除超过保留时长的历史消息，如果异常消费者组上次提交的偏移量已经小于该分区当前的最早可用偏移量，即便配置了auto.offset.reset，如果业务代码中捕获了OffsetOutOfRangeException却没有做对应偏移量重置逻辑，就会出现无报错也无法拉取消息的情况。正常服务的消费者组提交的偏移量仍在有效范围内，因此能正常定位偏移量拉取消息。
• 异常服务未完成分区分配
  虽然服务日志显示连接集群成功，仍可能存在以下情况：分区分配策略partition.assignment.strategy配置错误、消费者未正确执行subscribe()/assign()方法绑定目标分区、消费者组再均衡流程持续卡住未完成，导致目标分区始终未分配给异常服务的消费者，自然不会生成分区偏移量设置的相关日志。
• 账号权限不足
  如果Kafka集群开启了ACL权限控制，异常服务使用的账号可能仅拥有集群连接权限，没有该topic的READ或DESCRIBE权限，无法拉取分区元数据和已提交偏移量，部分Kafka客户端会将权限异常日志输出在DEBUG级别，容易被默认INFO级别的日志配置忽略，表现为无报错也无法消费。
• 偏移量提交逻辑异常导致无有效偏移量
  如果异常服务的enable.auto.commit被意外关闭，且业务代码未实现任何手动提交偏移量的逻辑，消费者首次启动时没有可读取的已提交偏移量，若此时auto.offset.reset配置存在拼写错误、被其他配置覆盖导致不生效，部分版本的Kafka客户端会持续等待偏移量设置，不会主动拉取消息。

排查建议 #

• 使用Kafka官方脚本查询异常消费者组状态，执行命令：
  kafka-consumer-groups.sh --bootstrap-server <kafka集群地址> --describe --group <异常消费者组ID>
  查看输出的CURRENT-OFFSET、LOG-START-OFFSET、LOG-END-OFFSET字段，如果CURRENT-OFFSET为-1或者小于LOG-START-OFFSET，即可确认偏移量已失效。
• 将异常服务的Kafka客户端日志级别调整为DEBUG，重启后查看是否有权限错误、分区分配失败、偏移量越界的相关日志。
• 显式将异常服务的auto.offset.reset设置为earliest后重启，验证是否能拉取到历史消息，确认该配置是否生效。

内容的提问来源于stack exchange，提问作者hqyaconnectcom