如何暂存Python日志调用直至日志配置完成？

我常在程序初期遇到需要在logging配置完成前写入日志的情况，比如日志配置需从远程加载，或是要记录日志配置过程中的步骤。
我想到两种方案，但均存疑虑：

• 方案一：保存调用但不实际执行日志
  可通过一个伪日志记录器捕获日志，该记录器仅存储绑定到实际日志方法的functools.partial列表，待日志就绪后再将所有调用转发至目标日志记录器。
  但此方案的问题在于部分日志功能依赖调用栈，例如标准logging.basicConfig()搭配exc_info=True需转换为exc_info=sys.exc_info()；若配置了structlog等特殊处理器，它们可能会提取更多调用栈信息，超出预期。
• 方案二：添加特殊处理器并重放日志
  理论上可行，但不确定将保存的日志信息重新传入日志记录器的效果，不清楚保存时做了哪些转换，可能导致消息混乱。
  据我所知，日志处理器接收的信息与传入日志记录器的参数存在细微差异，我无法确保能逆向转换这些信息以重新处理。但若不重新处理，又无法在日志配置完成后利用日志级别、过滤等配置来输出消息。

明确需求：需在logging配置完成前写入日志，此时甚至不清楚后续的日志配置；待logging配置完成后，将保存的日志消息按照完全配置后的logging规则输出，正确的方式是让logging在配置完成后处理这些消息。

1. 使用标准库的MemoryHandler #

Python标准logging库提供的MemoryHandler就是专门用于暂存日志的工具，它会把日志记录保存在内存中，直到满足触发条件（比如达到指定数量、收到特定级别日志，或者手动触发），再将所有暂存的日志转发给目标处理器。

用法示例：

import logging
from logging.handlers import MemoryHandler

# 初始化MemoryHandler，设置足够大的容量避免日志溢出
temp_handler = MemoryHandler(capacity=1000)
root_logger = logging.getLogger()
root_logger.addHandler(temp_handler)
root_logger.setLevel(logging.DEBUG)  # 先设最低级别确保所有日志都被捕获

# 记录配置过程中的日志
root_logger.debug("开始加载远程日志配置")
# ... 执行加载配置的逻辑 ...

# 配置完成后，设置最终处理器（示例为文件处理器）
final_handler = logging.FileHandler("app.log")
final_formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
final_handler.setFormatter(final_formatter)

# 转发暂存日志并替换处理器
temp_handler.setTarget(final_handler)
temp_handler.flush()  # 手动触发日志转发
root_logger.removeHandler(temp_handler)
root_logger.addHandler(final_handler)

# 后续日志直接输出到最终处理器
root_logger.info("日志配置完成，开始正常记录")

该方案的优势：

• 完全基于标准库，无需额外依赖
• 自动保留日志原始信息（包括调用栈、exc_info等），转发时最终处理器会按配置规则处理，不会丢失上下文
• 无需手动处理日志参数的逆向转换，MemoryHandler会直接传递完整的LogRecord对象

2. 自定义暂存Handler（更灵活） #

如果MemoryHandler的触发逻辑不符合需求，可以自定义一个简单的暂存Handler，核心是在emit方法中保存LogRecord对象，配置完成后再逐个转发给最终处理器。

示例代码：

import logging

class TempLogHandler(logging.Handler):
    def __init__(self):
        super().__init__()
        self.log_records = []

    def emit(self, record):
        # 保存原始LogRecord，不做任何预处理
        self.log_records.append(record)

    def replay(self, target_handler):
        # 将暂存日志转发给目标处理器
        for record in self.log_records:
            target_handler.emit(record)
        self.log_records.clear()

# 使用自定义Handler
temp_handler = TempLogHandler()
root_logger = logging.getLogger()
root_logger.addHandler(temp_handler)
root_logger.setLevel(logging.DEBUG)

# 记录配置过程日志
root_logger.warning("远程配置加载超时，切换为默认配置")
# ... 执行配置逻辑 ...

# 配置完成后设置最终处理器（示例为控制台处理器）
final_handler = logging.StreamHandler()
final_handler.setFormatter(logging.Formatter("%(levelname)s: %(message)s"))

# 重放暂存日志
temp_handler.replay(final_handler)
root_logger.removeHandler(temp_handler)
root_logger.addHandler(final_handler)

这种方式的好处是可以完全控制暂存和重放的时机，还能扩展自定义逻辑（比如过滤特定级别日志后再重放）。

调用栈与exc_info的处理说明 #

无论是MemoryHandler还是自定义Handler，保存的都是原始的LogRecord对象，其中已经包含了exc_info、lineno、funcName等调用栈相关信息。当你调用logger.error("msg", exc_info=True)时，logging库已经自动在LogRecord中填充了对应的异常信息，转发时最终处理器会正确解析这些内容，无需手动转换参数。

对于structlog这类扩展库，只要配置完成后正确初始化其处理器，重放的日志会被正常处理——因为structlog最终还是通过标准logging接口输出，暂存的LogRecord包含了所有必要信息。

内容的提问来源于stack exchange，提问作者Philip Couling