Prometheus中重复时间戳指标的归一化处理求助

在Kubernetes集群用Prometheus采集指标时，碰到了个问题：同一时间戳的指标，因为标签（比如endpoint）不一样，会生成多条记录。用sum聚合的时候，这些同时间戳的数值会被累加，结果直接翻倍了。

举个实际例子，采集到的cpu指标如下：

metric  time   labels                          value
cpu     1      pod="app1",endpoint="http"      1
cpu     2      pod="app1",endpoint="http"      1
cpu     3      pod="app1",endpoint="http"      .5
cpu     4      pod="app1",endpoint="http"      1
cpu     5      pod="app1",endpoint="http"      .5

cpu     3      pod="app1",endpoint="https"     .5
cpu     4      pod="app1",endpoint="https"     1

我现在用查询语句 sum(max_over_time(cpu{pod="app1"}[24h:5m])) by(pod)，得到的结果是2——时间戳4的两个1被加起来了，但我想要的结果是1。想问问怎么把这些同时间戳的指标归一化，先取最大值再聚合？

这里核心是要先把同一pod、同一时间戳下的重复指标合并成一个最大值，再做后续聚合，避免不同标签的同时间戳数据被重复计算。给你几个可行的方法：

方法1：先按时间戳去重，再做时间范围聚合 #

用max by(pod, __time__)先把同pod同时间戳的指标取最大值，消除不同endpoint的影响，再套上你原来的max_over_time和sum：

sum(
  max_over_time(
    (max by(pod, __time__) (cpu{pod="app1"}))[24h:5m]
  )
) by(pod)

步骤拆解：

1. 最内层的max by(pod, __time__) (cpu{pod="app1"})：把同一pod、同一时间戳的所有指标合并成一个最大值，不管endpoint是什么；
2. 然后用max_over_time处理24小时内每5分钟的数据；
3. 最后sum by(pod)得到正确的聚合结果。

方法2：直接移除无关标签 #

如果endpoint这个标签对你的聚合完全没用，可以用label_replace把它删掉，让同pod同时间戳的指标直接合并成一个序列：

sum(
  max_over_time(
    label_replace(cpu{pod="app1"}, "endpoint", "", "endpoint", ".*")[24h:5m]
  )
) by(pod)

label_replace这里的作用是把所有endpoint标签的值清空，相当于移除这个标签，这样原本两个不同标签的序列就会合并成一个，后续计算自然不会重复累加。

方法3：从采集源头解决（最彻底） #

如果这些重复指标是因为采集器同时抓了pod的http和https端点导致的，那直接在Prometheus的采集配置里过滤掉不需要的端点就行，比如只保留http的：

scrape_configs:
  - job_name: 'your-app'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_container_port_name]
        regex: 'http'
        action: keep

这样从根源上避免生成重复指标，后续查询就不用额外处理了。

内容的提问来源于stack exchange，提问作者Matt W