Kafka消费者指标标签异常及获取额外标签信息的技术咨询

根据Apache Kafka 2.8文档，bytes-consumed-rate指标应包含client-id和topic标签，但实际仅能看到client-id和node-id标签，请求排查原因。

另外，能否通过指标标签获取broker urls、消费者组名称这类额外信息？

消费者客户端代码 #

kafkaConsumer.subscribe(kafkaTopicNames);

while (true) {
    try {
        ConsumerRecords<String, String> consumerRecords = kafkaConsumer.poll(Duration.ofMillis(1000));

        for (ConsumerRecord<String, String> consumerRecord : consumerRecords) {
            logger.info("Message received " + consumerRecord.value());
        }

        Map<MetricName, ? extends Metric> kafkaConsumerMetrics = kafkaConsumer.metrics();

        for (MetricName metricName: kafkaConsumerMetrics.keySet()) {
            Map<String, String> metricNameTags = metricName.tags();

            logger.info(">>> Kafka consumer metric tags: " + metricNameTags);
        }
    } catch (Exception exception) {}

    break;
}

实际输出 #

>>> Kafka consumer metric tags: {client-id=this-is-a-consumer-id}
>>> Kafka consumer metric tags: {client-id=this-is-a-consumer-id}
>>> Kafka consumer metric tags: {client-id=this-is-a-consumer-id}
>>> Kafka consumer metric tags: {client-id=this-is-a-consumer-id, node-id=node-xxxxx}
.
.
.

关于bytes-consumed-rate缺少topic标签的原因及解决办法 #

• 未触发topic级指标初始化：你的代码调用poll后立刻终止循环（break），若此时消费者还未从目标topic拉取到实际消息，bytes-consumed-rate这类按topic维度统计的指标不会完成初始化，自然不会携带topic标签。移除break语句，让消费者持续运行并消费一定量的消息后，再查看指标即可。
• 未精准过滤目标指标：Kafka消费者指标分为全局（仅带client-id）、节点（带node-id）、topic（带topic）多个层级。你当前输出的是全局或节点级指标，并非bytes-consumed-rate本身。可以通过过滤指标名精准查找：

  for (MetricName metricName : kafkaConsumerMetrics.keySet()) {
      if ("bytes-consumed-rate".equals(metricName.name())) {
          Map<String, String> tags = metricName.tags();
          logger.info(">>> bytes-consumed-rate tags: " + tags);
      }
  }
  

• 版本不匹配：确认客户端版本是否为2.8.x，若版本与文档不一致，指标标签结构可能存在差异。

关于获取额外信息的问题 #

• 消费者组名称：无法通过指标标签获取，但可直接调用kafkaConsumer.groupMetadata().groupId()方法获取消费组ID。
• Broker URLs：指标标签不包含该信息，可从消费者配置的bootstrap.servers字段读取，或通过kafkaConsumer.listTopics()获取集群中topic与broker的映射关系间接获取。

内容的提问来源于stack exchange，提问作者saksham