使用kafka-console-consumer探测主题时间歇性出现Offset提交失败错误

这个问题我之前帮不少开发者排查过，本质是消费者组协调器和你的控制台消费者之间的心跳/会话出了问题，导致协调器不认这个消费者成员了。先把你遇到的错误日志贴出来，方便大家对照：

[2018-05-01 18:14:38,888] ERROR [Consumer clientId=consumer-1, groupId=console-consumer-56648] Offset commit failed on partition my-topic-0 at offset 444: The coordinator is not aware of this member. (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)
[2018-05-01 18:14:38,888] WARN [Consumer clientId=consumer-1, groupId=console-consumer-56648] Async offset commit failed for partition my-topic-0 at offset 444: The coordinator is not aware of this member. (org.apache.kafka.clients.consumer.internals.ConsumerCoordinator)

下面是几种常见的原因和对应的解决思路：

控制台消费者默认的会话超时时间（session.timeout.ms）如果偏短，或者消费者因为网络延迟、处理消息太慢，导致在超时窗口内没给协调器发心跳，协调器就会判定这个消费者“失联”，把它移除出消费者组。之后消费者再提交偏移量，协调器自然就会说“我不认识这个成员”。

解决办法：
启动控制台消费者时，手动调整会话超时和心跳间隔参数（心跳间隔一般设为会话超时的1/3左右，避免误判）：

kafka-console-consumer.sh --bootstrap-server your-kafka-broker:9092 --topic my-topic --group console-consumer-56648 --consumer-property session.timeout.ms=30000 --consumer-property heartbeat.interval.ms=10000

如果Kafka集群里协调器所在的broker挂了，或者触发了协调器重新选举，新上任的协调器可能还没同步到这个消费者的成员信息，就会出现这个间歇性错误。

解决办法：

• 先停掉当前的控制台消费者，等个10-15秒让协调器稳定下来，再重新启动消费者；
• 如果频繁出现协调器选举，建议检查Kafka集群的broker状态，确保控制器和协调器节点稳定运行。

控制台消费者默认是自动提交偏移量（enable.auto.commit=true），如果提交偏移量的瞬间，消费者已经被踢出组，就会触发这个错误。

解决办法：
调试阶段可以先改成手动提交偏移量，看看是否还会出现问题：

kafka-console-consumer.sh --bootstrap-server your-kafka-broker:9092 --topic my-topic --group console-consumer-56648 --consumer-property enable.auto.commit=false

不过手动提交需要你自己处理偏移量逻辑，适合排查问题时用，生产环境还是要根据业务需求调整。

如果消费者所在机器和Kafka broker之间的网络不稳定，心跳包丢包，协调器收不到心跳，就会把消费者踢出去。

解决办法：

• 用ping、telnet测试消费者和Kafka broker之间的网络连通性，看看有没有丢包或者端口不通的情况；
• 如果是跨机房部署，适当调大会话超时和心跳间隔，给网络波动留出缓冲空间。

内容的提问来源于stack exchange，提问作者Yeming Huang