Google Cloud Monitoring中PromQL查询结果异常问题求助

免责声明 #

我是PromQL新手，所写查询语句可能完全错误。由于Google Cloud内置监控未达预期结果，转而使用PromQL。

遇到的问题 #

• 查询生成的数据点过多
• 缩小视图时，所有数据消失或部分聚合结果丢失，计数莫名从1000降至50
• 使用1分钟间隔时，数据消失
• 基于用户的分布指标查询方式不明确（指标生成bucket、count、sum三个子指标，但不知如何使用）

核心需求 #

对包含API请求次数的日志类指标求和（示例：hits: 14、hits: 56），希望每个时间区间内显示这些数值的总和。

当前使用查询 #

sum by (dag_id) (
sum_over_time(logging_googleapis_com:user_metric_sum[30m])
)

示例异常情况 #

• 放大视图时数据正常：
• 缩小视图时数据消失：
• 放大时存在多个数据点：
• 缩小视图时求和结果异常（Y轴变化）：

问题根源与解决方案 #

1. 数据点过多/视图缩放异常/1分钟间隔数据消失

根源：固定30m窗口与查询步长不匹配。视图放大时步长变小，每个步长都会计算一次30m窗口的和，导致数据点密集；视图缩小或小间隔查询时，步长大于窗口，部分时间区间无数据覆盖，引发数据消失或聚合异常。同时GCP监控的降采样机制会在大时间范围查询时合并数据，固定窗口无法适配这种变化。

解决方案：使用GCP监控支持的动态窗口变量$__interval，让窗口自动匹配当前视图的查询步长：

sum by (dag_id) (
  sum_over_time(logging_googleapis_com:user_metric_sum[$__interval])
)

若user_metric_sum是计数器类型（累加的总请求数），改用increase更准确，避免重复计算：

sum by (dag_id) (
  increase(logging_googleapis_com:user_metric_sum[$__interval])
)

2. 分布指标使用方法

分布指标的三个子指标可按以下方式使用：

• 总请求数：统计所有样本数量

  sum by (dag_id) (logging_googleapis_com:user_metric_count)
  

• 请求数值总和：统计所有样本的数值之和

  sum by (dag_id) (logging_googleapis_com:user_metric_sum)
  

• 分位数计算（例：95分位）：基于桶数据计算指定分位的数值

  histogram_quantile(0.95, sum by (dag_id, le) (logging_googleapis_com:user_metric_bucket))
  

• 桶分布统计：查看各数值区间的样本数量分布

  sum by (le) (logging_googleapis_com:user_metric_bucket)
  

内容的提问来源于stack exchange，提问作者Jonny5