如何在Python中使用MemoryHandler优化日志性能？

我是Python新手，给项目添加日志写入文件后，运行时间从原来的3秒涨到了11秒。听人建议用内存暂存日志再批量写入文件的方式优化，于是尝试了MemoryHandler，但优化后的版本耗时还是11秒，没达到预期效果。

原始代码示例 #

Base1.py（未使用MemoryHandler） #

import logging
import logging.config
import logging.handlers

formatter = logging.Formatter('%(asctime)s — %(name)s — %(levelname)s — %(funcName)s:%(lineno)d — %(message)s')

def setup_logger(__name__,log_file,level=logging.INFO):
    '''to set up loggers'''
    
    handler= logging.FileHandler(log_file)
    handler.setFormatter(formatter)
    logger = logging.getLogger(__name__)
    logger.setLevel(level)
    logger.addHandler(handler)
    
    return logger

checking = setup_logger(__name__,'run_logfile.log')
checking.info("this is a test")

Base2.py（尝试使用MemoryHandler但无效） #

import logging
import logging.config
import logging.handlers

formatter = logging.Formatter('%(asctime)s — %(name)s — %(levelname)s — %(funcName)s:%(lineno)d — %(message)s')

def setup_logger(__name__,log_file,level=logging.INFO):
    '''to set up loggers'''
    
    handler= logging.FileHandler(log_file)
    handler.setFormatter(formatter)
    memoryhandler = logging.handlers.MemoryHandler(
                        capacity=1024*100,
                        flushLevel=logging.INFO,
                        target=handler,
                        flushOnClose=True
                        )
    logger = logging.getLogger(__name__)
    logger.setLevel(level)
    logger.addHandler(handler)
    logger.addHandler(memoryhandler)
    
    return logger

checking = setup_logger(__name__,'run_logfile.log')
checking.info("this is a test")

问题原因 #

你的Base2.py代码有个关键错误：同时给logger添加了FileHandler和MemoryHandler。这意味着每条日志会被两个handler同时处理——FileHandler会直接把日志写入文件，MemoryHandler的缓存机制完全没起到作用，自然不会有性能提升。

修正后的代码 #

只需要把FileHandler作为MemoryHandler的target，不要直接添加到logger中，让MemoryHandler统一管理日志的缓存和批量写入：

import logging
import logging.handlers

formatter = logging.Formatter('%(asctime)s — %(name)s — %(levelname)s — %(funcName)s:%(lineno)d — %(message)s')

def setup_logger(__name__, log_file, level=logging.INFO):
    '''to set up loggers'''
    
    handler = logging.FileHandler(log_file)
    handler.setFormatter(formatter)
    # 配置MemoryHandler，将FileHandler作为目标处理器
    memoryhandler = logging.handlers.MemoryHandler(
                        capacity=1024*100,
                        flushLevel=logging.INFO,
                        target=handler,
                        flushOnClose=True
                        )
    logger = logging.getLogger(__name__)
    logger.setLevel(level)
    # 仅添加MemoryHandler到logger
    logger.addHandler(memoryhandler)
    
    return logger

checking = setup_logger(__name__,'run_logfile.log')
checking.info("this is a test")

额外优化建议 #

• 调整缓存容量：根据你的日志输出量，适当调大capacity参数，减少批量写入的次数，进一步降低IO开销
• 使用旋转日志处理器：用RotatingFileHandler（按文件大小切割）或TimedRotatingFileHandler（按时间切割）替代普通FileHandler，避免单个日志文件过大
• 异步日志处理：如果批量缓存仍不能满足性能需求，可使用QueueHandler配合QueueListener，把日志写入操作放到后台线程，完全不阻塞主程序运行
• 精简日志级别：只保留必要的日志级别（比如INFO及以上），减少不必要的日志输出
• 优化日志格式：避免过于复杂的格式字符串，减少日志生成时的字符串处理开销

内容的提问来源于stack exchange，提问作者aadya bajaj