如何查询Docker容器内运行的Kafka的消费者数量等状态信息

请求无响应原因说明 #

Kafka默认9092端口走的是自定义TCP协议，不支持HTTP请求。你调用的/connectors是Kafka Connect组件的专属REST接口，默认端口为8083，仅当部署了Kafka Connect服务时才可以调用，和Kafka原生服务无关，因此请求无法得到有效响应。

无Kafka自带工具、无容器CLI权限时的状态查询方案 #

• 方案1：通过Python Kafka客户端直接查询
  无需依赖Kafka本地工具，仅需Python安装对应客户端库，且网络可通Kafka 9092端口即可使用。推荐使用kafka-python库，示例代码如下：

  from kafka import KafkaAdminClient
  
  # 连接Kafka服务
  admin_client = KafkaAdminClient(
      bootstrap_servers=f"{config.parameters['kafkaServerIPAddress']}:{config.parameters['kafkaServerPort']}",
      api_version_auto_timeout_ms=10000
  )
  
  # 查询所有消费者组
  consumer_groups = admin_client.list_consumer_groups()
  group_ids = [group[0] for group in consumer_groups]
  
  # 查询指定消费者组的成员数量（即消费者数量）、消费偏移量等信息
  for group_id in group_ids:
      group_details = admin_client.describe_consumer_groups(group_ids=[group_id])
      # 消费者数量取group下的member数量
      consumer_count = len(group_details[0].members)
      print(f"消费者组{group_id}的消费者数量：{consumer_count}")
  

  还可以基于该库扩展查询消费积压Lag、Topic分区状态、生产吞吐量等核心指标。

• 方案2：部署轻量可视化监控工具
  若需要长期稳定监控，可以部署kafka-ui这类无侵入的开源监控工具，仅需在配置中填写Kafka服务地址，部署完成后即可在Web界面直接查看所有消费者数量、消费状态、分区健康度等全量运行指标，无需操作Kafka所在的Docker容器。

Kafka官方shell脚本获取渠道 #

无需依赖运行环境的$KAFKA_HOME，直接下载和你线上运行的Kafka服务大版本一致的Apache Kafka二进制压缩包，解压后即可直接使用包内的所有shell脚本，不需要额外安装，仅需本地有Java 8及以上运行环境即可。
使用时指定--bootstrap-server参数指向线上Kafka服务的IP和端口，不需要在Kafka所在节点执行，本地网络可通Kafka服务即可正常调用，例如查询消费者组列表的命令为：

./kafka-consumer-groups.sh --bootstrap-server <kafka_ip>:9092 --list

Kafka监控入门核心指标 #

• 消费者数量：单个消费者组下的在线消费者实例数，该数量超过对应Topic的分区数时，多余的消费者会处于空闲状态无法消费
• 消费Lag：消费者已提交偏移量和对应分区最新生产偏移量的差值，数值越高代表消费积压越严重
• 分区健康度：所有分区是否存在Leader副本，是否有离线副本，直接决定服务可用性
• 吞吐指标：单位时间内生产、消费的消息条数和字节数，用于评估服务负载

内容的提问来源于stack exchange，提问作者Lindsay