K8s部署Flink通过PushGateway上报Prometheus出现指标断点问题

问题根因 #

你遇到的指标断点问题和Prometheus抓取频率无关，从直接调用Pushgateway接口返回结果不稳定可以判定，核心原因是多个Flink集群向同一个Pushgateway推送指标时发生了指标相互覆盖，另外Pushgateway本身的部署配置问题也可能导致该现象。

解决方案 #

1. 为每个Flink集群配置唯一的分组标识，避免分组键冲突 #

Pushgateway通过grouping key（一组标签的组合）来区分不同来源的指标，当多个推送方使用相同的grouping key时，后推送的指标会覆盖同分组下的所有存量指标。你需要调整每个Flink集群的flink-conf.yaml配置，保证各集群的分组键唯一：

# 每个集群设置唯一的jobName，比如对应业务名、集群名
metrics.reporter.promgateway.jobName: <集群唯一标识，如model1122、flink-sql>
# 开启随机job名后缀，进一步避免不同集群job名重复导致的冲突
metrics.reporter.promgateway.randomJobNameSuffix: true
# 额外添加自定义唯一分组标签，比如集群ID、部署环境
metrics.reporter.promgateway.groupingKey: "cluster_id=<唯一集群ID>,env=prod"

2. 调整推送模式为增量更新，避免全量覆盖 #

Flink 1.13及以上版本的PrometheusPushGatewayReporter支持配置推送模式，默认的PUT模式会全量替换同一个分组下的所有指标，改为POST模式后只会增量更新本次推送的指标，不会覆盖同分组下其他指标：

metrics.reporter.promgateway.pushMode: POST

如果你使用的Flink版本低于1.13，可以自行适配支持POST推送的Reporter，或者升级Flink版本。

3. 检查Pushgateway的部署配置 #

• 确认Pushgateway没有设置过短的指标TTL（启动参数--metrics.ttl），过短的TTL会导致未及时推送的指标被自动清理，出现断点
• 确认Pushgateway的K8s Service后端仅绑定一个Pod实例：如果你部署了多个Pushgateway实例且没有配置共享持久化存储，不同实例存储的指标不同，负载均衡转发到不同实例时就会出现返回结果随机的问题
• 如果必须部署多实例Pushgateway，需要在负载均衡层开启会话保持，保证同一个Flink集群的所有推送请求始终转发到同一个Pushgateway实例

4. 更稳定的替代方案 #

如果你的Flink集群和Prometheus网络可达，建议放弃Pushgateway方案，改用Prometheus直接拉取Flink指标的模式：Flink本身支持PrometheusReporter暴露指标端口，Prometheus通过服务发现自动抓取各集群指标，完全规避Pushgateway的覆盖、数据不一致问题，配置更简单，稳定性更高。

内容的提问来源于stack exchange，提问作者xfly