Gunicorn多Worker部署如何区分进程配置分级日志避免写入冲突

完全可以通过Gunicorn原生提供的Worker生命周期钩子实现需求，不需要额外手动给Worker传参，每个Worker启动时自带唯一标识，直接用来生成专属子日志器即可，同时能彻底解决多进程写日志文件的冲突问题。

核心实现：用post_worker_init钩子做Worker级日志初始化 #

Gunicorn启动每个Worker进程后、开始接收请求前，会自动触发post_worker_init钩子，入参直接传入当前Worker实例，可通过worker.wid拿到Worker的全局唯一编号，结合进程PID就能生成完全独立的子日志器。
直接在Gunicorn配置文件（通常命名为gunicorn.conf.py）中添加如下配置：

import logging
import os
from logging.handlers import RotatingFileHandler

# 父日志器统一初始化，只做公共配置，不绑定文件Handler
parent_logger = logging.getLogger("Service")
parent_logger.setLevel(logging.INFO)
# 父日志器仅输出到控制台，不写文件，避免多进程冲突
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging.Formatter("%(asctime)s [Master] %(levelname)s: %(message)s"))
parent_logger.addHandler(stream_handler)

def post_worker_init(worker):
    worker_id = worker.wid
    worker_pid = os.getpid()
    # 生成当前Worker专属的子日志器
    worker_logger = logging.getLogger(f"Service.Worker{worker_id}")
    worker_logger.setLevel(logging.INFO)
    # 关闭日志向上传播，避免同一条日志被父日志器重复打印
    worker_logger.propagate = False

    # 每个Worker绑定独立的日志文件Handler，从根源避免多进程并发写冲突
    # 日志文件名直接带WorkerID和PID，排查问题时可直接定位对应进程
    file_handler = RotatingFileHandler(
        filename=f"./logs/service_worker_{worker_id}_{worker_pid}.log",
        maxBytes=100 * 1024 * 1024,  # 单文件100MB自动轮转
        backupCount=10,
        encoding="utf-8"
    )
    # 日志格式内置WorkerID、进程ID字段，无需额外传参即可溯源
    file_handler.setFormatter(logging.Formatter(
        "%(asctime)s [WorkerID:%(worker_id)s PID:%(process)d] %(levelname)s %(pathname)s:%(lineno)d: %(message)s"
    ))
    worker_logger.addHandler(file_handler)

    # 将专属日志器挂载到Flask应用实例上，业务代码直接调用即可
    worker.app.logger = worker_logger

业务代码调用方式 #

不需要在Flask业务代码中硬编码日志器名称，直接通过Flask上下文获取当前应用绑定的日志器即可，自动适配当前进程所属的Worker：

from flask import current_app

@app.route("/health")
def health_check():
    # 输出的日志自动携带当前Worker标识，写入对应Worker的专属日志文件
    current_app.logger.info("健康检查接口被调用")
    return {"status": "ok"}

避坑说明 #

• 不要在Master进程中初始化文件类日志Handler后再fork出Worker，这是多进程写日志错乱、丢内容、冲突的核心原因，所有写文件的Handler必须在Worker启动后（也就是post_worker_init钩子内）初始化。
• 如果不想维护多个日志文件，可以去掉所有文件Handler，所有Worker的日志统一通过StreamHandler输出到stdout/stderr，由Gunicorn、systemd、supervisor等上层进程管理工具统一收集落盘，同样不存在多进程写冲突，只要日志格式中带上WorkerID和PID就可以正常溯源。
• 子日志器必须设置propagate = False，否则日志会冒泡传递到父日志器，导致同一条日志被重复打印、重复写入。

内容的提问来源于stack exchange，提问作者mkisantal