如何获取Python logging模块程序运行期输出的所有历史日志

Python标准logging模块默认不会在内存中留存已输出的日志副本，处理完日志事件后就会释放对应资源，要获取全量历史日志可以根据实际场景选择以下两种方案：

方案1：直接读取已落盘的日志文件 #

你当前的配置已经把所有日志写入了本地文件，这是最简单、不需要修改原有启动逻辑的方案，哪怕程序已经运行了很久也能直接使用。

注意：你贴的示例代码有两处笔误，运行前需要修正：

1. 导入语句多写了一个g：import loggging 改为 import logging
2. filename参数字符串没闭合：filename = '/path/to/log/file.log, 末尾补单引号改为 filename = '/path/to/log/file.log',

直接读取日志文件内容即可拿到全量历史：

def get_file_logs(log_path: str = "/path/to/log/file.log", as_str: bool = True):
    with open(log_path, "r", encoding="utf-8") as f:
        if as_str:
            return f.read()
        return [line.strip() for line in f if line.strip()]

# 调用示例：拿到所有历史日志的拼接字符串
all_logs = get_file_logs()
# 调用示例：拿到按行拆分的日志列表
log_list = get_file_logs(as_str=False)

这个方案的优缺点：

• 优点：零侵入，不需要修改原有日志配置，只要日志文件没被删除、没被日志滚动规则覆盖，就能拿到程序启动以来的全量日志
• 缺点：如果使用了日志滚动切割（比如按大小/时间切分日志文件），需要额外遍历读取所有历史切割日志才能拼出全量；如果配置只输出到控制台、没写磁盘，这个方案无法使用。

方案2：添加自定义内存缓存Handler（通用方案） #

如果你不想依赖读文件，或者需要拿到结构化的日志对象（比如要按日志级别、日志来源做筛选），可以在程序初始化日志的时候，自定义一个内存缓存Handler挂载到logger上，自动留存所有经过的日志记录。

实现步骤 #

1. 先定义内存日志Handler：

import logging
from logging import Handler, LogRecord

class MemoryLogHandler(Handler):
    def __init__(self, capacity: int = None):
        """
        :param capacity: 最大缓存日志条数，None表示不限制条数存全量
        """
        super().__init__()
        self.capacity = capacity
        self.log_records: list[LogRecord] = []  # 存储原始结构化日志对象
        self.formatted_logs: list[str] = []     # 存储格式化后的日志文本

    def emit(self, record: LogRecord) -> None:
        self.log_records.append(record)
        self.formatted_logs.append(self.format(record))
        # 超过最大容量时删除最早的日志，避免内存溢出
        if self.capacity and len(self.formatted_logs) > self.capacity:
            self.log_records.pop(0)
            self.formatted_logs.pop(0)
    
    def get_history(self, as_str: bool = True):
        """获取历史日志"""
        if as_str:
            return "\n".join(self.formatted_logs)
        return self.log_records
    
    def clear(self):
        """清空缓存的历史日志"""
        self.log_records.clear()
        self.formatted_logs.clear()

2. 在程序最开始初始化日志时，把这个Handler挂载到根logger上：

# 实例化内存Handler，配置和原有日志一致的格式
memory_handler = MemoryLogHandler(capacity=None)
log_fmt = logging.Formatter(
    fmt='%(asctime)s,%(msecs)d %(name)s %(levelname)s %(message)s',
    datefmt='%H:%M:%S'
)
memory_handler.setFormatter(log_fmt)
memory_handler.setLevel(logging.DEBUG)

# 初始化日志配置，把内存Handler加入handlers列表
logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s,%(msecs)d %(name)s %(levelname)s %(message)s',
    datefmt='%H:%M:%S',
    handlers=[
        logging.FileHandler('/path/to/log/file.log', mode='a'),
        logging.StreamHandler(),  # 需要控制台输出就保留这行
        memory_handler
    ]
)

# 原有日志逻辑不变
logging.info("===============================================================================")
logging.info("INFO: Starting Application Logging")

3. 程序运行任意阶段，直接调用方法即可拿到全量历史日志：

# 拿到格式化好的全量日志字符串
all_logs_str = memory_handler.get_history()
# 拿到原始结构化LogRecord对象列表，可以按字段筛选
all_log_records = memory_handler.get_history(as_str=False)
# 比如筛选所有ERROR级别的日志
error_logs = [r for r in all_log_records if r.levelname == "ERROR"]

注意事项 #

• 如果设置capacity=None无限制缓存日志，长期运行的程序要注意日志量过大会占用过多内存，日志量高的场景建议给capacity设置合理阈值（比如10000条）只保留最近的日志，或者定期调用clear()方法清理不需要的历史。
• 如果你项目里的子logger设置了propagate=False关闭了日志向上传递，需要单独给这些子logger也挂载MemoryLogHandler实例，否则这部分日志不会被缓存。

如果程序已经启动运行了很久，既没有配置日志落盘，也没有提前加内存缓存Handler，那之前输出的日志是无法找回的——logging模块默认处理完日志事件后就会释放资源，不会自动留存副本，只能重启程序加上对应配置后才能留存后续的历史日志。

内容的提问来源于stack exchange，提问作者Michael Altfield