启用KRaft的Kafka 3.5版本消费者无法读取消息求助

1. 验证主题状态与消息持久化 #

先确认主题配置是否正常，以及消息是否真的被写入存储：

• 查看主题详情，重点关注副本数和ISR（同步副本）状态：

  kafka-topics.sh --bootstrap-server localhost:9094 --command-config local-client.properties --topic myTopic --describe
  

  确保ReplicationFactor符合预期，且Isr列包含所有存活的副本节点。
• 直接读取Broker本地日志文件，确认消息是否持久化：
  进入Kafka Broker Pod，找到主题对应的分区日志目录（默认在/bitnami/kafka/data下），执行：

  kafka-run-class.sh kafka.tools.DumpLogSegments --files /bitnami/kafka/data/myTopic-0/00000000000000000000.log --print-data-log
  

  替换myTopic-0为实际分区目录，检查输出中是否存在你发送的asdf1等消息内容。

2. 排查消费者配置与权限问题 #

• 强制指定消费偏移量，避免group.id导致的偏移量异常：

  kafka-console-consumer.sh --bootstrap-server localhost:9094 --consumer.config local-client.properties --topic myTopic --offset earliest
  

  或自定义消费者组并强制从头消费：

  kafka-console-consumer.sh --bootstrap-server localhost:9094 --consumer.config local-client.properties --topic myTopic --group test-consumer-group --from-beginning
  

• 检查用户的ACL权限，确认是否拥有主题的读取权限：

  kafka-acls.sh --bootstrap-server localhost:9094 --command-config local-client.properties --list --topic myTopic
  

  若缺少权限，执行以下命令添加：

  kafka-acls.sh --bootstrap-server localhost:9094 --command-config local-client.properties --add --allow-principal User:xyzwu-kafka-user-local --operation Read --topic myTopic
  

3. 检查KRaft控制器与Broker日志 #

• 查看KRaft控制器日志，确认主题创建、分区分配流程是否正常：

  kubectl logs -l app.kubernetes.io/name=kafka,app.kubernetes.io/component=controller
  

  搜索myTopic关键词，排查是否存在分区分配失败、副本同步异常的日志。
• 查看Broker日志，检查消费者连接与拉取请求的处理情况：

  kubectl logs -l app.kubernetes.io/name=kafka,app.kubernetes.io/component=broker
  

  搜索Consumer、FetchRequest等关键词，确认消费者是否成功建立连接，以及拉取请求是否有正常响应。

4. 验证Bitnami Helm的KRaft配置 #

• 确认Broker副本数与运行状态：你的Helm配置未指定broker.replicaCount，默认可能为1，需确保Broker Pod正常运行：

  kubectl get pods -l app.kubernetes.io/name=kafka,app.kubernetes.io/component=broker
  

• 检查Broker的监听配置，确保内部与外部监听地址正确：
  进入Broker Pod，执行：

  kafka-configs.sh --bootstrap-server localhost:9092 --describe --all --entity-type brokers --entity-name 0
  

  查看listeners、advertised.listeners是否包含PLAINTEXT://localhost:9092（内部）和SASL_PLAINTEXT://<负载均衡IP>:9094（外部）。

5. Spring Boot应用额外排查点 #

若Spring Boot应用也出现相同问题，需确认：

• 消费者的security.protocol、sasl.mechanism、sasl.jaas.config参数与生产者完全一致。
• 是否配置了auto.offset.reset=earliest（若需要从主题起始位置消费）。
• 消费者组ID是否合理，是否存在偏移量被意外提交到最新位置的情况。

内容的提问来源于stack exchange，提问作者BetaRide