uWSGI部署Kubernetes时仅向GCP发送stdout日志问题

问题背景 #

Django应用日志在不同部署方式下表现不一致：

• 本地开发服务器/gunicorn Docker部署：日志正常同步到GCP，保留级别信息与JSON结构化格式
• 本地uWSGI部署：GCP控制台无任何日志记录
• GKE部署：所有日志仅以info级别显示，日志名称为stdout，丢失JSON结构化特性

推测核心原因：uWSGI未复用Python日志配置，直接将日志输出到stdout，被GCP自动标记为info级别；同时uWSGI的master-worker模式可能导致GCP日志客户端初始化异常。

现有配置 #

uWSGI配置（uwsgi.ini） #

[uwsgi]
chdir=xxx
module=xxx
http = 0.0.0.0:8080

vacuum = true
enable-threads = true
listen = 128
socket-timeout = 180
http-timeout = 180
harakiri = 180
harakiri-verbose = true
py-autoreload = false
processes = 4
memory-report = false
master = true
master-fifo = /tmp/master-fifo
post-buffering = 65536
buffer-size = 65535
max-requests = 1500
max-requests-delta = 100
max-worker-lifetime = 3600
hook-accepting1-once = write:/tmp/bkm.ready ok

# Logging configuration
disable-logging = true
log-master = false
log-prefix = [uWSGI]

Django日志配置 #

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'filters': {
        'require_debug_false': {
            '()': 'django.utils.log.RequireDebugFalse',
        },
        'require_debug_true': {
            '()': 'django.utils.log.RequireDebugTrue',
        },
    },
    'formatters': {
        'verbose': {
            'format': '%(name)s [%(module)s:%(funcName)s:%(lineno)d] > %(message)s',
        },
        'simple': {
            'format': '%(levelname)s > %(message)s',
        },
    },
    'handlers': {
        'console_simple': {
            'class': 'logging.StreamHandler',
            'filters': ['require_debug_true'],
            'formatter': 'simple',
            'level': 'DEBUG',
        },
        'console_verbose': {
            'class': 'logging.StreamHandler',
            'formatter': 'verbose',
            'level': 'INFO',
        },
        'slack': {
            'level': 'ERROR',
            'filters': ['require_debug_false'],
            'class': 'api.project.logger.SlackHandler',
        },
        'stackdriver_logging': {
            'level': 'INFO',
            'class': 'google.cloud.logging_v2.handlers.CloudLoggingHandler',
            'formatter': 'verbose',
            'client': logging_v2.Client(),
            'labels': {'env': ENV_LABEL},
        },
    },
    'loggers': {
        'api': {
            'handlers': [
                'console_verbose',
                'stackdriver_logging',
                'slack',
            ],
            'level': 'DEBUG',
            'propagate': False,
        },
    },
    'root': {
        'handlers': ['console_verbose'],
        'level': 'DEBUG',
    },
}

解决方案 #

1. 修正uWSGI配置，释放Python日志控制权 #

在uwsgi.ini中添加/调整以下配置：

# 彻底禁用uWSGI自身的请求日志，完全交给Python日志系统
disable-logging = true
# 将uWSGI自身日志输出到/dev/null，避免干扰Python日志
logto = /dev/null
# 确保worker进程fork后重新初始化Python资源（关键：修复GCP日志客户端连接问题）
py-call-osafterfork = true
# 禁止uWSGI重定向Python的stdout/stderr
disable-write-exception = true

• py-call-osafterfork：解决master-worker模式下，GCP日志客户端在worker进程中无法复用的问题，强制worker进程重新初始化客户端
• disable-write-exception：避免uWSGI捕获Python的异常输出，确保日志能正常流向Python的handler

2. 调整Django日志配置，延迟初始化GCP客户端 #

避免在配置中直接实例化logging_v2.Client()（master进程初始化后，worker进程复用的客户端会失效），改用懒加载方式：

# 新增一个客户端初始化函数
def init_gcp_logging_client():
    import google.cloud.logging_v2
    return google.cloud.logging_v2.Client()

LOGGING = {
    # ...其他配置
    'handlers': {
        # ...其他handler
        'stackdriver_logging': {
            'level': 'INFO',
            'class': 'google.cloud.logging_v2.handlers.CloudLoggingHandler',
            'formatter': 'verbose',
            # 传递初始化函数，让handler在需要时创建客户端
            'client': init_gcp_logging_client,
            'labels': {'env': ENV_LABEL},
        },
    },
    # 可选：暂时移除console_verbose，避免日志分流到stdout
    'loggers': {
        'api': {
            'handlers': [
                # 'console_verbose',
                'stackdriver_logging',
                'slack',
            ],
            'level': 'DEBUG',
            'propagate': False,
        },
    },
}

3. GKE环境额外检查 #

• 确保Pod挂载的GOOGLE_APPLICATION_CREDENTIALS密钥文件权限正确（容器内进程可读）
• 给Pod或GKE节点配置roles/logging.logWriter IAM角色，确保有写入GCP日志的权限
• 禁用GKE的默认stdout日志收集（可选），避免重复日志，确保仅通过CloudLoggingHandler发送日志

4. 本地验证步骤 #

1. 启动uWSGI后，查看本地Python日志是否正常输出
2. 测试触发不同级别的日志（DEBUG/INFO/ERROR），检查GCP控制台是否收到对应日志
3. 如果仍无日志，可临时启用uWSGI的日志调试：

   log-encoder = format:%(message)s
   stdout-logger = true
   

   确认Python日志是否被uWSGI正确转发。

内容的提问来源于stack exchange，提问作者RogerFromSpace