如何配置Prometheus实现Python应用多实例的指标正常采集？

端口冲突直接解决方法 #

多实例启动失败的本质是start_http_server()默认绑定8000端口，同一台主机上不允许多个进程同时监听同一个TCP端口，第二个实例启动时自然会报端口占用错误。
可选的解决方式：

• 给每个实例分配独立的监听端口，启动HTTP服务时传入对应端口参数即可，例如实例1用8000、实例2用8001、实例3用8002，调用方式为start_http_server(port=xxxx)。
• 不想手动维护端口映射的话，可以传入port=0启动服务，操作系统会自动分配一个空闲的随机端口，后续配合服务发现组件把实例对应的端口同步给Prometheus服务端即可。
• 不要尝试让多个应用实例共用同一个指标暴露端口，Prometheus Python客户端的设计是每个进程独立维护自己的指标注册表、独立暴露指标端点，没有内置同端口多进程复用逻辑。

常见疑问解答 #

• 如果不在应用内部启动指标HTTP服务，Counter等所有指标默认只存储在当前Python进程的内存中，属于进程私有数据，没有对外暴露入口，外部完全无法访问。
• 可以把指标上报到应用外部的存储/代理组件，短生命周期定时任务场景最常用的方案是Pushgateway：任务执行完成后主动把生成的指标推送到Pushgateway服务，再由Prometheus服务端统一从Pushgateway拉取指标。注意长生命周期常驻服务不要使用Pushgateway，会导致实例存活状态丢失、指标时序断裂等问题。
• 单个Prometheus服务端天然支持采集多个不同应用、不同实例的指标，只需要在Prometheus的采集配置中添加所有实例的指标端点地址即可，支持静态配置、文件服务发现、容器/云原生环境动态服务发现等多种方式，不需要在应用侧做特殊适配。

代码修正参考 #

你提供的伪代码还有一个隐藏问题：Counter不要定义在任务函数内部，否则每次执行任务都会重复创建同名计数器，触发重复注册异常，计数器应该在全局作用域初始化，仅创建一次。
常驻服务多实例部署的修正代码：

import argparse
from prometheus_client import start_http_server, Counter

# 全局初始化计数器，不要放在任务执行函数内部
TASK_RUN_TOTAL = Counter('task_run_total', 'Total count of time-consuming task successful executions')

def time_consuming_task():
    my_process()
    my_other_process()
    TASK_RUN_TOTAL.inc()
    
def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--port", type=int, default=8000, help="Listen port for prometheus metrics endpoint")
    args = parser.parse_args()
    # 不同实例启动时传入不同端口参数即可避免冲突
    start_http_server(port=args.port)
    # 常驻运行任务逻辑
    while True:
        time_consuming_task()

if __name__ == '__main__':
    main()

如果是跑完就退出的短周期定时任务，不需要启动常驻HTTP服务，可以直接在任务结束后把指标推送到外部Pushgateway：

import os
from prometheus_client import CollectorRegistry, Counter, push_to_gateway

def time_consuming_task():
    # 短任务场景每次执行创建独立的指标注册表
    registry = CollectorRegistry()
    task_run_total = Counter('task_run_total', 'Total count of task successful executions', registry=registry)
    my_process()
    my_other_process()
    task_run_total.inc()
    # 推送指标到部署好的Pushgateway服务，用instance参数区分不同实例
    push_to_gateway(
        '127.0.0.1:9091',
        job='periodic_python_task',
        instance=os.getenv("INSTANCE_ID", "default_instance"),
        registry=registry
    )

if __name__ == '__main__':
    time_consuming_task()

内容的提问来源于stack exchange，提问作者Johnny