如何计算最近t分钟内histogram_quantile返回的p99 latency的平均值？

你写的PromQL触发报错是因为PromQL语法要求，区间运算符[]只能直接作用于即时向量选择器（也就是直接指定指标名+标签的表达式），不能直接作用于histogram_quantile这类函数返回的计算结果。

方案1：使用子查询（适用于Prometheus 2.7及以上版本） #

通过子查询语法先生成过去t分钟的p99时序序列，再传入avg_over_time计算平均值，正确写法如下：

avg_over_time(
  histogram_quantile(0.99, sum(rate(latency_buckets{service="foo"}[5m])) by (le))
  [5m:]
)

语法说明：[5m:]是子查询声明，代表获取过去5分钟内、按全局默认评估间隔计算得到的所有p99瞬时值组成的区间序列，你可以把这里的5m替换为你需要的t分钟时长。

方案2：使用Recording Rule预计算（推荐生产环境使用） #

如果需要高频查询这类指标，建议先通过Recording Rule预计算p99指标，避免查询时实时计算带来的性能损耗：

1. 先在Prometheus配置中新增如下Recording Rule：

groups:
- name: latency_derived_metrics
  interval: 1m
  rules:
  - record: service_latency:p99
    expr: histogram_quantile(0.99, sum(rate(latency_buckets{}[5m])) by (le, service))

2. 规则生效后直接对预计算的指标做区间平均即可：

avg_over_time(service_latency:p99{service="foo"}[5m])

• rate(latency_buckets[5m])里的5m是直方图增量计算的滑动窗口，需根据你的数据上报频率调整，通常建议设置为数据上报间隔的2~4倍
• 外层的时间窗口是你需要计算平均p99的时间范围，按需替换为对应的t分钟即可

内容的提问来源于stack exchange，提问作者Nicky Logan