You need to enable JavaScript to run this app. 如何通过Java Datadog Agent上报KafkaStreams JMX指标
优惠活动
大模型
产品
解决方案
定价
更多

如何通过Java Datadog Agent上报KafkaStreams JMX指标

Kafka Streams指标通过Datadog Java Agent上报配置说明

核心结论

默认开启dd.jmxfetch.enabled参数无法自动采集Kafka Streams专属指标,必须额外添加自定义JMX采集配置文件才能完成上报。

配置步骤

  • 第一步:创建自定义JMX采集配置文件,可命名为jmx-conf.yaml,配置示例如下:
init_config:
  is_jmx: true
  collect_default_metrics: true

instances:
  - jvm_direct: true
    collect_default_jvm_metrics: true
    # 采集stream级别全局指标
    include:
      - domain: kafka.streams
        bean_regex: "kafka.streams:type=stream-metrics,client-id=.*"
        attribute:
          commit-latency-avg:
            metric_type: gauge
            alias: kafka.streams.commit_latency.avg
          commit-latency-max:
            metric_type: gauge
            alias: kafka.streams.commit_latency.max
          process-latency-avg:
            metric_type: gauge
            alias: kafka.streams.process_latency.avg
          poll-latency-avg:
            metric_type: gauge
            alias: kafka.streams.poll_latency.avg
          records-consumed-rate:
            metric_type: gauge
            alias: kafka.streams.records_consumed.rate
          records-produced-rate:
            metric_type: gauge
            alias: kafka.streams.records_produced.rate
      # 按需补充拓扑、任务、状态存储等维度的指标规则
      - domain: kafka.streams
        bean_regex: "kafka.streams:type=stream-task-metrics,task-id=.*"
        attribute:
          records-processed-rate:
            metric_type: gauge
            alias: kafka.streams.task.records_processed.rate
  • 第二步:启动应用时添加JVM参数指定配置文件路径,示例启动参数:
java -javaagent:/path/to/dd-java-agent.jar \
  -Ddd.jmxfetch.enabled=true \
  -Ddd.jmxfetch.config=/path/to/your/jmx-conf.yaml \
  -jar your-kafka-streams-app.jar

如果有多个JMX采集配置,可替换为-Ddd.jmxfetch.config.dir=/path/to/config/dir指定配置目录批量加载。

常见验证&排查方式

  • 开启JMXFetch调试日志:添加启动参数-Ddd.jmxfetch.debug=true,启动后查看日志中是否存在匹配Kafka Streams MBean、上报指标的相关记录
  • 确认Kafka Streams应用未关闭JMX暴露:确保没有添加-Dkafka.streams.jmx.enabled=false启动参数,默认该参数为开启状态
  • 检查指标别名格式:必须使用小写字母、下划线分隔,不要包含特殊字符或大写字母,符合Datadog指标命名规范

如果是采用Datadog Agent sidecar部署的方式,也可以把上述配置文件放到Agent的conf.d/jmx.d/目录下,无需修改应用启动参数即可生效。

内容的提问来源于stack exchange,提问作者cclusetti

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 12:57:03