GAE Python3标准环境下关联日志无法打印模块名及行号求助

我之前帮团队从GAE Python2迁到Python3时，也碰到了一模一样的日志问题——请求日志关联不上，模块名和行号也丢了。折腾了好一阵，终于找到几个靠谱的解决方案，分享给你！

方案1：使用Google Cloud Logging官方客户端库（推荐） #

官方库已经做好了和GAE的集成，能自动处理请求关联，还能轻松配置日志格式包含模块名和行号。

步骤1：安装依赖 #

pip install google-cloud-logging

步骤2：配置日志记录器（以Flask为例） #

import logging
from google.cloud import logging as cloudlogging
from google.cloud.logging_v2.handlers import CloudLoggingHandler
from flask import Flask, request

app = Flask(__name__)

def setup_cloud_logging():
    # 初始化Cloud Logging客户端
    client = cloudlogging.Client()
    # 创建GAE兼容的日志处理器
    handler = CloudLoggingHandler(client, name="your-app-id")
    
    # 自定义日志格式：包含时间、级别、模块名、行号、消息
    formatter = logging.Formatter(
        "%(asctime)s %(levelname)s %(module)s:%(lineno)d %(message)s",
        datefmt="%Y-%m-%dT%H:%M:%S%z"
    )
    handler.setFormatter(formatter)
    
    # 绑定到根日志器
    root_logger = logging.getLogger()
    root_logger.addHandler(handler)
    root_logger.setLevel(logging.INFO)

# 在应用启动时配置日志
setup_cloud_logging()

# 绑定请求ID到日志上下文
@app.before_request
def attach_request_id():
    # 从GAE请求头中获取跟踪ID（作为请求ID）
    trace_context = request.headers.get("X-Cloud-Trace-Context", "")
    request_id = trace_context.split("/")[0] if trace_context else "unknown"
    
    # 用LoggerAdapter给所有日志添加上请求ID
    global logger_adapter
    logger_adapter = logging.LoggerAdapter(logging.getLogger(), {"request_id": request_id})

# 示例日志调用
@app.route("/")
def hello():
    logger_adapter.info("Hello endpoint hit!")
    return "Hello World!"

这样配置后：

• %(module)s:%(lineno)d会自动打印当前日志所在的模块名和行号
• 通过X-Cloud-Trace-Context获取的请求ID会绑定到所有日志，Stack Driver会自动将日志关联到对应的请求
• 日志会被正确发送到Stack Driver，格式完全符合要求

方案2：轻量手动配置（无需官方库） #

如果不想引入额外依赖，可以手动构造结构化日志，利用GAE的环境变量获取请求上下文：

import logging
import os
import inspect

def log(message, level=logging.INFO):
    # 获取当前模块名和行号
    caller_frame = inspect.currentframe().f_back
    module_name = caller_frame.f_globals["__name__"]
    line_no = caller_frame.f_lineno
    
    # 获取GAE请求ID
    trace_context = os.environ.get("HTTP_X_CLOUD_TRACE_CONTEXT", "")
    request_id = trace_context.split("/")[0] if trace_context else "unknown"
    
    # 构造带元数据的日志消息
    log_msg = f"[{request_id}] {module_name}:{line_no} - {message}"
    logger = logging.getLogger(module_name)
    logger.log(level, log_msg)

# 调用示例
log("This is a test log with context")

这个方案的优点是轻量，但需要自己处理行号和请求ID的获取，日志结构化程度不如官方库高，适合小型项目。

方案3：Django项目适配 #

如果你的项目用Django，可以通过配置settings.py的日志系统来实现：

1. 定义日志过滤器 #

在你的app下新建filters.py：

import os
import logging

class RequestIDFilter(logging.Filter):
    def filter(self, record):
        # 从环境变量获取请求ID
        trace_context = os.environ.get("HTTP_X_CLOUD_TRACE_CONTEXT", "")
        record.request_id = trace_context.split("/")[0] if trace_context else "unknown"
        return True

2. 配置settings.py的LOGGING #

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'gae_formatter': {
            'format': '%(levelname)s %(module)s:%(lineno)d [%(request_id)s] %(message)s'
        },
    },
    'filters': {
        'request_id': {
            '()': 'your_app_name.filters.RequestIDFilter',
        },
    },
    'handlers': {
        'cloud_logging': {
            'class': 'google.cloud.logging.handlers.CloudLoggingHandler',
            'client': 'google.cloud.logging.Client()',
            'name': 'your-django-app',
            'formatter': 'gae_formatter',
            'filters': ['request_id'],
        },
    },
    'root': {
        'handlers': ['cloud_logging'],
        'level': 'INFO',
    },
}

这样Django的所有日志都会自动包含模块名、行号和请求ID，并且和Stack Driver的请求日志关联。

内容的提问来源于stack exchange，提问作者Praveen Kumar