Django集成google_cloud_logging至Stackdriver，日志格式不符求助

我之前也碰到过一模一样的问题——默认的CloudLoggingHandler会把传入的字典直接转成字符串塞进message字段，而不是解析成jsonPayload的结构化内容。下面分享几个有效的解决方向：

方法一：使用StructuredLogHandler（推荐） #

Google Cloud Logging的Python客户端提供了专门处理结构化日志的StructuredLogHandler，它可以直接把你传入的字典解析为jsonPayload，完全符合你的预期。

步骤1：修改settings.py中的日志handler #

把原来的CloudLoggingHandler替换为StructuredLogHandler：

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
        'stackdriver_logging': {
            # 替换为结构化日志handler
            'class': 'google.cloud.logging_v2.handlers.StructuredLogHandler',
            'client': log_client,
        },
    },
    'loggers': {
        '': {
            'handlers': ['console', 'stackdriver_logging'],
            'level': 'INFO',
            'propagate': True,
        },
        'django': {
            'handlers': ['console', 'stackdriver_logging'],
            'level': 'INFO',
            'propagate': True
        }
    }
}

步骤2：保持原有的日志调用方式 #

你之前的日志写法不需要改动，直接传入字典即可：

_logger.info({'message_type':'profile', 'runtime': 500})

此时Stackdriver中就会生成你期望的格式：

{
    ...
    "jsonPayload": {
        "message_type":"profile",
        "runtime": 500
    }
}

注意：确保你的google-cloud-logging包是最新版本，StructuredLogHandler是在较新的版本中引入的，可以用pip install --upgrade google-cloud-logging更新。

方法二：使用extra参数传递结构化数据 #

如果不想替换handler，也可以通过extra参数指定结构化字段，让CloudLoggingHandler识别并解析到jsonPayload中。

修改日志调用方式 #

把字典放在extra的json_fields键下，同时可以给info()方法传入一个简单的消息文本（也可以留空）：

# 这里的第一个参数是日志的message文本，extra里的json_fields会被解析到jsonPayload
_logger.info("Profile runtime metrics", extra={'json_fields': {'message_type':'profile', 'runtime': 500}})

这种方式下，Stackdriver的日志会同时包含message字段和你定义的结构化jsonPayload：

{
    ...
    "message": "Profile runtime metrics",
    "jsonPayload": {
        "message_type":"profile",
        "runtime": 500
    }
}

方法三：自定义日志Formatter #

如果以上两种方法都不满足你的需求，还可以自定义一个Formatter，让handler直接识别传入的字典作为结构化数据。

1. 定义自定义Formatter #

在你的Django项目中创建一个日志工具模块（比如utils/logging.py），添加以下代码：

import logging

class StructuredDictFormatter(logging.Formatter):
    def format(self, record):
        # 如果日志消息是字典，就把字典的键值对合并到record的属性中
        if isinstance(record.msg, dict):
            record.__dict__.update(record.msg)
            # 清空原始message，避免字符串化的字典出现在日志中
            record.msg = ""
        return super().format(record)

2. 在settings.py中配置Formatter和Handler #

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'structured_dict': {
            # 指定自定义Formatter的路径
            '()': 'your_project.utils.logging.StructuredDictFormatter',
        },
    },
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
        'stackdriver_logging': {
            'class': 'google.cloud.logging.handlers.CloudLoggingHandler',
            'client': log_client,
            # 应用自定义Formatter
            'formatter': 'structured_dict',
        },
    },
    'loggers': {
        '': {
            'handlers': ['console', 'stackdriver_logging'],
            'level': 'INFO',
            'propagate': True,
        },
        'django': {
            'handlers': ['console', 'stackdriver_logging'],
            'level': 'INFO',
            'propagate': True
        }
    }
}

3. 保持原日志调用方式 #

同样直接传入字典即可，此时handler会把字典解析到jsonPayload中。

内容的提问来源于stack exchange，提问作者unstarreren8271