如何通过Java Datadog Agent上报KafkaStreams JMX指标
Kafka Streams指标通过Datadog Java Agent上报配置说明
核心结论
默认开启dd.jmxfetch.enabled参数无法自动采集Kafka Streams专属指标,必须额外添加自定义JMX采集配置文件才能完成上报。
配置步骤
- 第一步:创建自定义JMX采集配置文件,可命名为
jmx-conf.yaml,配置示例如下:
init_config: is_jmx: true collect_default_metrics: true instances: - jvm_direct: true collect_default_jvm_metrics: true # 采集stream级别全局指标 include: - domain: kafka.streams bean_regex: "kafka.streams:type=stream-metrics,client-id=.*" attribute: commit-latency-avg: metric_type: gauge alias: kafka.streams.commit_latency.avg commit-latency-max: metric_type: gauge alias: kafka.streams.commit_latency.max process-latency-avg: metric_type: gauge alias: kafka.streams.process_latency.avg poll-latency-avg: metric_type: gauge alias: kafka.streams.poll_latency.avg records-consumed-rate: metric_type: gauge alias: kafka.streams.records_consumed.rate records-produced-rate: metric_type: gauge alias: kafka.streams.records_produced.rate # 按需补充拓扑、任务、状态存储等维度的指标规则 - domain: kafka.streams bean_regex: "kafka.streams:type=stream-task-metrics,task-id=.*" attribute: records-processed-rate: metric_type: gauge alias: kafka.streams.task.records_processed.rate
- 第二步:启动应用时添加JVM参数指定配置文件路径,示例启动参数:
java -javaagent:/path/to/dd-java-agent.jar \ -Ddd.jmxfetch.enabled=true \ -Ddd.jmxfetch.config=/path/to/your/jmx-conf.yaml \ -jar your-kafka-streams-app.jar
如果有多个JMX采集配置,可替换为-Ddd.jmxfetch.config.dir=/path/to/config/dir指定配置目录批量加载。
常见验证&排查方式
- 开启JMXFetch调试日志:添加启动参数
-Ddd.jmxfetch.debug=true,启动后查看日志中是否存在匹配Kafka Streams MBean、上报指标的相关记录 - 确认Kafka Streams应用未关闭JMX暴露:确保没有添加
-Dkafka.streams.jmx.enabled=false启动参数,默认该参数为开启状态 - 检查指标别名格式:必须使用小写字母、下划线分隔,不要包含特殊字符或大写字母,符合Datadog指标命名规范
如果是采用Datadog Agent sidecar部署的方式,也可以把上述配置文件放到Agent的conf.d/jmx.d/目录下,无需修改应用启动参数即可生效。
内容的提问来源于stack exchange,提问作者cclusetti
相关产品推荐
相关产品推荐

