如何基于Prometheus Push Gateway实现分布式短生命周期任务的增量计数？

针对短生命周期任务的跨进程错误累计需求，核心解决方案是结合Prometheus的Counter指标类型与Push Gateway的累加推送模式，完全规避你提到的覆盖、重置、缓存膨胀等问题，具体实现如下：

1. 核心方案：Counter + Push Gateway的PushAdd模式 #

Prometheus的Counter类型天生用于单调递增的计数场景（比如错误数、请求数），而Push Gateway支持两种推送模式：

• PUT（默认）：替换同名同标签的指标值
• POST（PushAdd模式）：将推送的指标值累加到现有值上

Python代码实现 #

使用官方prometheus_client库，每个短生命周期任务只需推送当前任务产生的错误增量：

from prometheus_client import Counter, push_to_gateway

# 定义全局错误Counter，可添加业务标签（如任务类型）
task_errors = Counter(
    'task_total_errors',
    '累计短生命周期任务错误数',
    ['task_type']
)

# 当前任务产生错误时，递增计数（多个错误可传参数如inc(3)）
task_errors.labels(task_type='data_sync').inc()

# 用POST方式推送（对应PushAdd模式），实现跨进程累加
push_to_gateway(
    gateway='your-pushgateway:9091',
    job='short_lived_tasks',
    registry=None,
    method='post'
)

为什么这是最优解？ #

• 无需为每个任务实例添加唯一标签，从根源避免Push Gateway的指标膨胀问题；
• 每个任务独立推送自身的错误增量，不存在并发竞争或依赖查询的问题；
• Counter的语义完全匹配错误计数的需求（错误只会累计不会减少），符合Prometheus的最佳实践。

2. 配套：过期指标清理 #

Push Gateway不会自动删除已推送的指标，若需要避免旧指标长期占用资源，可通过以下方式清理：

• 按分组清理：推送时为任务添加时间窗口或批次标签（如batch=20240521），定期通过API删除过期分组：

  # 删除指定批次的指标
  curl -X DELETE http://your-pushgateway:9091/metrics/job/short_lived_tasks/task_type/data_sync/batch/20240520
  

• 基于推送时间清理：开启Push Gateway的--web.enable-admin-api参数，通过查询pushgateway_metrics指标获取各指标的推送时间，编写脚本自动删除超过N小时的指标。

3. 对现有方案的优劣对比 #

• 方案1（添加实例标签求和）：会导致Push Gateway中指标数量随任务实例数线性增长，长期运行必然引发缓存膨胀，不可持续；
• 方案2（定期删除）：仅能解决指标膨胀问题，无法解决跨进程计数的核心需求，属于治标不治本；
• 方案3（先查询再递增）：存在并发竞争风险（多个任务同时查询并递增会导致计数丢失），且依赖Prometheus的查询能力，增加了系统复杂度。

内容的提问来源于stack exchange，提问作者Stefan