如何仅暴露部分Kafka Stream JMX指标以避免影响服务性能？

当然可以实现部分指标暴露，以下是几种实用方案，覆盖不同场景的需求：

1. 用JMX Exporter做精准过滤（推荐） #

Kafka Streams的所有JMX指标都归属在kafka.streams开头的MBean域下。如果你用Prometheus的JMX Exporter这类工具采集指标，可以直接通过配置文件指定只抓取需要的指标，完全避免全量采集的性能损耗。

比如编写一个jmx-exporter-config.yaml，只保留流任务的平均延迟和吞吐量指标：

rules:
  - pattern: 'kafka.streams<type=stream-metrics,client-id=([^,]+),task-id=([^,]+)><>record-latency-avg'
    name: kafka_streams_record_latency_avg
    labels:
      client_id: "$1"
      task_id: "$2"
  - pattern: 'kafka.streams<type=stream-metrics,client-id=([^,]+),task-id=([^,]+)><>records-per-second'
    name: kafka_streams_records_per_second
    labels:
      client_id: "$1"
      task_id: "$2"

启动JMX Exporter时指定这个配置文件，就只会采集匹配到的指标。

2. 通过Kafka Streams配置关闭指标组 #

如果你不想用外部工具，可以直接通过Streams配置关闭整个不需要的指标组，虽然粒度不如前者精细，但配置简单：

• 调整指标记录级别，只保留INFO级别的核心指标（DEBUG级会包含大量细节指标）：

metrics.recording.level=INFO

• 针对特定组件关闭指标（需要Kafka Streams 2.6+），比如关闭状态存储相关的指标：

exclude.metrics=state-metrics*

3. 自定义MetricsReporter实现完全可控 #

如果上述方法都满足不了你的需求，还可以自己实现MetricsReporter接口，在代码层面精准筛选要暴露的指标：

public class SelectiveMetricsReporter implements MetricsReporter {
    @Override
    public void init(List<KafkaMetric> metrics) {
        // 初始化时只处理目标指标
        metrics.stream()
              .filter(this::isWantedMetric)
              .forEach(this::registerMetric);
    }

    @Override
    public void metricChange(KafkaMetric metric) {
        if (isWantedMetric(metric)) {
            // 更新并发送指标到监控系统
        }
    }

    private boolean isWantedMetric(KafkaMetric metric) {
        String metricName = metric.metricName().name();
        // 这里定义你需要保留的关键词，比如只留延迟、吞吐量相关指标
        return metricName.contains("record-latency") || metricName.contains("records-per-second");
    }

    // 实现其他必要的接口方法（比如close、configure）
}

然后在Streams配置里注册这个自定义Reporter：

metrics.reporters=com.yourteam.SelectiveMetricsReporter

内容的提问来源于stack exchange，提问作者paul