如何使用Prometheus统计两个关联请求触发事件的时间间隔

Prometheus本身是指标型时序数据库，不支持原生存储、关联实体级别的原始事件数据，所以该需求需要配合业务侧埋点实现，主流有两种落地路径：

方案1：业务侧预计算差值上报Histogram（优先推荐） #

这是生产环境最常用的方案，和普通接口耗时统计的使用逻辑完全一致

• 实现步骤：
  1. 事件A触发时，以订单ID为key，将事件A的时间戳写入缓存（如Redis、本地内存缓存都可以），同时给该key设置合理的过期时间（比如24小时，覆盖订单AB事件的最大合理间隔即可），避免缓存溢出
  2. 同一订单的事件B触发时，先从缓存中取出对应事件A的时间戳，计算当前时间和A时间的差值，将该差值作为观测值上报到order_ab_interval_seconds Histogram类型指标
  3. 上报完成后删除缓存中对应订单的A时间戳，释放存储空间
• 优势：
  • Prometheus侧无需额外适配，后续可以直接用histogram_quantile函数计算百分位、平均间隔等统计值
  • 性能损耗极低，仅增加一次缓存读写操作
• 边界处理：
  • 遇到事件B触发时缓存中没有对应A时间戳的情况（比如A过期、B先触发等异常场景），可以单独上报一个Counter指标order_ab_missing_a_count统计异常量级，不要把无效差值上报到Histogram造成数据污染

方案2：基于Exemplar关联事件（仅适合排查场景） #

如果你的业务架构无法在事件B触发时拿到事件A的时间戳，可以使用Prometheus 2.26及以上版本支持的Exemplar特性实现

• 实现步骤：
  1. 事件A、B触发时分别上报Counter指标，同时给指标附带Exemplar，Exemplar中携带当前订单ID和事件发生的时间戳
  2. 统计时通过支持Exemplar的查询工具（如Grafana）拉取全量Exemplar数据，关联同一订单ID的A、B两条记录计算时间差，再做聚合
• 限制：
  • Prometheus本身不支持基于Exemplar的原生聚合，需要额外的计算逻辑，仅适合小范围排查问题，不适合作为核心指标的长期统计方案

常用查询示例 #

使用方案1时，统计最近1小时内AB事件间隔的P95值，PromQL如下：
histogram_quantile(0.95, sum(rate(order_ab_interval_seconds_bucket[1h])) by (le))

内容的提问来源于stack exchange，提问作者Manoj Kumar S