Kafka Scala消费者无法读取主题消息（无控制台错误）排查

1. 优先检查主题名称拼写差异 #

你代码中指定的主题是wm-cth-salesstreams（末尾带s），但控制台消费者使用的主题是wm-cth-salesstream（末尾无s）——这是最可能导致问题的原因，确认两者是否指向同一个主题，修正代码中的主题名后重试。

2. 消费组与偏移量配置问题 #

• 消费组ID重复或偏移量已提交：如果Scala消费者使用的group.id之前已经消费过目标主题的所有消息，且auto.offset.reset设为latest，消费者会等待新消息产生。可以尝试：
  • 临时修改group.id为一个全新的值，重新启动消费者
  • 将auto.offset.reset配置改为earliest，让消费者从主题起始位置开始消费
• 对比控制台消费者的偏移量参数：控制台消费者如果加了--from-beginning参数，会从最早偏移量开始消费，而Scala消费者默认可能是latest，需确保两者偏移量策略一致。

3. 核心消费者配置验证 #

• 确认集群地址一致：检查Scala代码中bootstrap.servers是否和控制台消费者使用的地址完全相同，避免连接到不同的Kafka集群。
• 反序列化器匹配：确保key.deserializer和value.deserializer与生产者的序列化器完全匹配（比如生产者用org.apache.kafka.common.serialization.StringSerializer，消费者必须对应用org.apache.kafka.common.serialization.StringDeserializer）。不匹配的情况下，消息可能被静默丢弃，DEBUG日志中通常会有反序列化失败的细节提示。
• 超时与心跳配置：如果session.timeout.ms、heartbeat.interval.ms配置不合理，可能导致消费者无法正常加入消费组，查看DEBUG日志中是否有心跳超时、被踢出组的相关日志。

4. 消费组状态分析 #

结合你提供的消费者组描述结果，重点确认：

• Scala消费者是否成功加入消费组（状态为ACTIVE）
• 是否分配到了目标主题的对应分区
• 消费组的当前偏移量是否与分区的最新偏移量一致（如果一致，说明没有未消费的消息）

5. 深入分析DEBUG日志 #

重点排查以下日志内容：

• 是否有成功连接Kafka集群的日志（如Connected to node X）
• 是否有消费组加入成功的日志（如Successfully joined group [group-id] with generation X）
• 是否有分区分配成功的日志（如Assigned partitions: [wm-cth-salesstreams-0]）
• 是否有偏移量拉取的日志（如Fetching offset X for partition Y）

如果以上日志都缺失，说明消费者在连接、加入组或分区分配环节出现了静默失败，需进一步核对配置与集群权限。

内容的提问来源于stack exchange，提问作者Krushna Dash