Kafka中使用kafka-consumer-groups.sh创建消费者组超时问题求助

我来帮你排查这个kafka-consumer-groups.sh命令超时的问题，结合你使用的Kafka 1.0.0（HDF 3.1.1）版本，给你几个针对性的解决方案：

• 先确认消费者组是否有活跃实例
  你遇到的超时错误很大概率是因为logstash这个消费者组还没有任何活跃的消费者连接到Kafka。Kafka需要获取消费者组的运行元数据才能执行describe操作，如果组里没有消费者在运行，就会超时等待初始化。
  先启动你的Logstash消费者，确保它已经成功连接到Kafka并开始消费数据，之后再重新执行命令。

• 修正命令参数，移除过时的--new-consumer
  Kafka 1.0.0已经默认使用基于bootstrap-server的新消费者客户端，--new-consumer参数在这个版本已经属于过时配置，甚至可能导致命令解析异常。把你的命令改成：

  kafka-consumer-groups.sh --bootstrap-server ip-xxx-xxx-xxx-xxx:6667 --describe --group logstash
  

• 检查Kafka的网络连通性与配置

  • 先验证你的机器能正常访问Kafka节点：用nc -zv ip-xxx-xxx-xxx-xxx 6667或者telnet ip-xxx-xxx-xxx-xxx 6667测试端口是否开放，确保没有防火墙或安全组拦截。
  • 检查Kafka broker的server.properties配置，确认listeners参数绑定的是对外可访问的IP（比如PLAINTEXT://ip-xxx-xxx-xxx-xxx:6667）或者0.0.0.0:6667，而不是仅绑定localhost，否则外部客户端无法连接。

• 调整命令超时时间（可选）
  如果是网络延迟导致的超时，可以通过配置文件增加请求超时时间：

  1. 创建一个consumer.properties文件，添加：

     request.timeout.ms=60000
     

  2. 执行命令时指定这个配置文件：

     kafka-consumer-groups.sh --bootstrap-server ip-xxx-xxx-xxx-xxx:6667 --describe --group logstash --command-config consumer.properties
     

• 排查是否使用了旧版ZK-based消费者
  如果你的Logstash配置用的是旧版的ZooKeeper连接方式（配置了zookeeper.connect而不是bootstrap.servers），那么新的kafka-consumer-groups.sh命令无法识别这个组，因为它只支持新消费者组。这种情况下你需要用ZK版本的命令：

  kafka-consumer-groups.sh --zookeeper <你的ZK地址>:2181 --describe --group logstash
  

内容的提问来源于stack exchange，提问作者Lee. YunSu