使用max_over_time查询同一日期时因时间范围不同得到不同值的问题

我通过gauge指标按特定时间间隔跟踪队列中的任务数量，Prometheus每分钟抓取一次数据。当我使用max_over_time(job_count_by_service{service="ServiceA", tenant="TenantA"}[1d])查询某一天队列的最大任务数时，发现查询不同时间范围会得到同一日期的不同结果：

• 查询2023-08-19当天范围得到值38
• 查询2023-08-18至2023-08-22的5天范围时，该日期结果为35

Grafana中我设置了Min Step为1d，Type为Range，不确定是否影响结果。我原本认为max_over_time会选取指定时间范围内的所有值中的最大值，例如若第一天值为[1,2,7,6,5]、第二天为[8,1,2,3,1]，查询应分别返回7和8。

• 数据降采样导致样本丢失：查询大时间范围（如5天）时，Prometheus会自动对原始每分钟样本进行降采样——全量存储和处理5天的7200个样本性能消耗过高，系统会合并相邻样本，可能丢失峰值数据。比如2023-08-19的38这个峰值，在降采样过程中被合并，导致结果变为35。
• Grafana Min Step的强制约束：设置的Min Step为1d，会强制Grafana以1天为步长向Prometheus发起查询。这种情况下，Prometheus会为每个1d窗口返回聚合后的数据点，和单独查询当天时的逻辑不同——单独查询当天步长匹配抓取间隔（1分钟），能保留所有原始样本，因此得到真实最大值38。
• 时间窗口对齐差异：多天范围查询时，max_over_time的时间窗口会按查询步长（1d）对齐，可能和单独查询当天的窗口边界不完全一致。比如单独查询当天是精确的2023-08-19 00:00:00到2023-08-20 00:00:00，而多天查询时窗口可能包含部分前后天样本，或截断当天部分样本，导致最大值计算偏差。

• 验证降采样：直接在Prometheus UI中执行两种查询，对比返回的样本数据，确认是否存在降采样导致的样本丢失。
• 调整Min Step：在Grafana中临时将Min Step设为1m（与抓取间隔一致），再查询5天范围，查看2023-08-19的结果是否恢复为38。注意此操作会增加查询性能消耗，大时间范围下可能变慢。
• 显式指定查询步长：在PromQL中通过step参数强制指定步长为1m，避免降采样影响：

  max_over_time(job_count_by_service{service="ServiceA", tenant="TenantA"}[1d]) step 1m
  

内容的提问来源于stack exchange，提问作者Raghu