自定义Lambda Python日志格式后CloudWatch日志拆分问题咨询

我通过以下代码覆盖Lambda Python的默认日志格式：

LOG_FORMAT = '[%(levelname)s] %(asctime)s.%(msecs)dZ [%(filename)s] [%(funcName)s] %(message)s'
DATETIME_FORMAT = '%Y-%m-%dT%H:%M:%S'
logging.basicConfig(format=LOG_FORMAT, level=logging.INFO, datefmt=DATETIME_FORMAT, force=True)
LOG = logging.getLogger()

但修改后发现日志会按换行符在CloudWatch中拆分成多条记录。比如记录格式化后的XML文档时，XML的每一行都会变成独立日志；而修改前，整个XML文档会作为单条日志显示，可直接复制。

修改前的日志（单条记录） #

[INFO] 2022-11-30T02:16:54.345Z dc2518d8-60f3-461c-812b-c70b1b836592
SNS message: <?xml version="1.0"?>
<Document>
  ...
</Document>

修改后的日志（多条拆分记录） #

[INFO] 2022-11-29T11:40:47.563Z [function.py] [handler] SNS message: 
2022-11-29T11:40:47.563Z <?xml version="1.0"?>
2022-11-29T11:40:47.563Z <Document>
2022-11-29T11:40:47.563Z  ...
2022-11-29T11:40:47.563Z</Document>

问题核心：默认日志格式化程序的换行处理逻辑 #

Lambda Python运行时的默认日志处理不会对消息中的换行符做替换，而是将包含换行的完整消息输出到stdout，CloudWatch会将其识别为单条日志记录（显示时换行但属于同一条目）。

而使用logging.basicConfig(force=True)自定义格式时，会替换默认的日志处理器，此时Python标准库的logging模块会将消息中的每一行都单独应用日志格式模板，导致每行都生成带日志头的日志行，CloudWatch据此将每行拆分为独立日志条目。

解决方案：自定义格式化器避免换行拆分 #

要保留自定义日志格式同时防止日志拆分，需要重写日志格式化器，确保仅在完整消息的开头添加一次日志头，不对消息内的换行做拆分处理：

import logging

class SingleLineFormatter(logging.Formatter):
    def format(self, record):
        record.message = record.getMessage()
        if self.usesTime():
            record.asctime = self.formatTime(record, self.datefmt)
        # 仅拼接一次日志头和完整消息（保留原消息中的换行）
        return self.formatMessage(record)

# 配置自定义日志格式
LOG_FORMAT = '[%(levelname)s] %(asctime)s.%(msecs)dZ [%(filename)s] [%(funcName)s] %(message)s'
DATETIME_FORMAT = '%Y-%m-%dT%H:%M:%S'

# 设置处理器和格式化器
handler = logging.StreamHandler()
formatter = SingleLineFormatter(LOG_FORMAT, datefmt=DATETIME_FORMAT)
handler.setFormatter(formatter)

# 替换根日志器的处理器
LOG = logging.getLogger()
LOG.setLevel(logging.INFO)
LOG.handlers = []  # 清空默认处理器
LOG.addHandler(handler)

这样处理后，包含换行的XML文档会作为单条日志记录输出到CloudWatch，既保留自定义格式，又能直接复制完整内容。

内容的提问来源于stack exchange，提问作者atlas_scoffed