Flink 1.15.2任务管理器Prometheus指标采集异常求助

环境与配置 #

我在Kubernetes上部署了Flink 1.15.2，配置的Prometheus指标采集规则如下：

# metrics
metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter

问题现象 #

• 启动Flink任务后，Prometheus无法获取TaskManager的指标
• 停止任务后，虽能看到指标但部分指标为空

已尝试的无效方案 #

• 降低CPU使用率，仍无法获取TaskManager指标
• 增加任务槽数量，问题依旧
• 该问题在Intel和ARM节点上均会出现
• 修改Flink配置为以下内容后，指标仅被采集几秒后便消失：

# metrics
metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporterFactory

• 禁用Kafka生产者/消费者指标注册后，问题仍未解决：

kafkaSourceBuilder.setProperty("register.consumer.metrics", "false");
var producerProperties = new Properties();
producerProperties.setProperty("register.producer.metrics", "false");
producerSinkBuilder.setKafkaProducerConfig(producerProperties);

额外发现 #

• 升级到Flink 1.15.3后，启动任务可正常采集指标
• 在Flink 1.16.0上启动任务后，Prometheus完全无法获取Flink指标

内容的提问来源于stack exchange，提问作者holly