如何解决Kubernetes中指标重复上报的问题？

针对你遇到的多个Pod上报相同数据库聚合指标、导致Prometheus生成多条重复曲线的问题，这里有几个实用的解决方案，无需额外部署单Pod服务：

1. 调整应用指标上报逻辑 #

直接在应用代码里修改指标的标签设置，移除Pod名称这类唯一标识标签，换成更通用的标签（比如应用名、Deployment名）。
比如用Go的Prometheus客户端库时，注册指标时统一设置固定标签：

var dbAggregatedValue = prometheus.NewGaugeVec(
    prometheus.GaugeOpts{
        Name: "db_aggregated_value",
        Help: "Aggregated value from database",
    },
    []string{"app"}, // 只保留应用名标签，去掉pod相关标签
)

// 初始化时设置固定标签值
dbAggregatedValue.WithLabelValues("my-db-app").Set(aggregatedValue)

这样所有Pod上报的指标标签完全一致，Prometheus会自动合并成一条时间序列。

2. 修改Prometheus采集的Relabel规则 #

如果不想改应用代码，可以在Prometheus的采集配置中添加Relabel规则，移除或替换Pod级别的唯一标签。
比如在scrape_configs里针对该应用的采集项添加：

scrape_configs:
  - job_name: "my-app-metrics"
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      # 移除pod名称标签
      - source_labels: [__meta_kubernetes_pod_name]
        action: drop
      # 可选：把instance标签替换为Deployment名称，统一标识
      - source_labels: [__meta_kubernetes_pod_label_app_kubernetes_io_name]
        target_label: instance
        action: replace

这样采集到的指标会去掉Pod名称标签，所有同应用的Pod指标会被合并为同一时间序列。

3. 在PromQL查询时做聚合处理 #

如果既不想改应用也不想改Prometheus配置，最简单的方式是在查询图表时用聚合函数去除Pod维度：

sum without(pod) (db_aggregated_value)

或者用avg without(pod)、last without(pod)——因为所有Pod的指标值相同，这些聚合函数的结果都会和原指标值一致，但会把多个Pod的时间序列合并成一条，图表里就只会显示一条曲线了。

内容的提问来源于stack exchange，提问作者Sankalp