Python logging模块多次运行代码时日志重复输出问题求助

我之前踩过完全一样的坑！核心原因其实是Python的logging模块里的Logger是全局单例对象——每次用%run执行你的main.py时，脚本里的日志配置代码（比如添加StreamHandler、FileHandler）会重复执行，不断往同一个Logger实例上叠加新的Handler。次数多了，每条日志自然会被多个Handler重复输出多次。而你设置的logger.propagate = False根本管不到这个问题，它只是控制日志是否向上级Logger传播，和Handler重复添加完全不相关~

先看看你可能的原代码（模拟场景） #

大概率你的main.py是这样写的，每次运行都会重复添加Handler：

# main.py
import logging

logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)

# 每次运行都新增一个StreamHandler
stream_handler = logging.StreamHandler()
logger.addHandler(stream_handler)

# 每次运行都新增一个FileHandler
file_handler = logging.FileHandler('app.log')
logger.addHandler(file_handler)

logger.info('Hello, logging!')

三种有效解决方案 #

方案一：添加Handler前先检查，避免重复添加 #

在创建Handler之前，先判断Logger里是否已经存在同类型（或同目标）的Handler，只有不存在时才添加：

# main.py
import logging

logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)

# 检查是否已有StreamHandler，无则添加
has_stream = any(isinstance(h, logging.StreamHandler) for h in logger.handlers)
if not has_stream:
    stream_handler = logging.StreamHandler()
    logger.addHandler(stream_handler)

# 检查是否已有目标为app.log的FileHandler，无则添加
has_file = any(
    isinstance(h, logging.FileHandler) and h.baseFilename == 'app.log' 
    for h in logger.handlers
)
if not has_file:
    file_handler = logging.FileHandler('app.log')
    logger.addHandler(file_handler)

logger.info('Hello, logging!')

方案二：每次运行前清空所有已有的Handler #

如果不需要保留之前的Handler配置，可以在重新配置前先清空所有Handler，彻底重置Logger：

# main.py
import logging

logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)

# 先移除所有已存在的Handler（注意要遍历副本，避免修改原列表时出错）
for handler in logger.handlers[:]:
    logger.removeHandler(handler)

# 重新添加需要的Handler
stream_handler = logging.StreamHandler()
logger.addHandler(stream_handler)

file_handler = logging.FileHandler('app.log')
logger.addHandler(file_handler)

logger.info('Hello, logging!')

方案三：使用官方推荐的集中配置API（最稳妥） #

Python logging模块提供了dictConfig或fileConfig来集中管理日志配置，这些方法默认会重置Logger的配置，从根源上避免重复添加Handler的问题，也是官方文档推荐的方式：

# main.py
import logging
from logging.config import dictConfig

# 定义日志配置字典
logging_config = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
            'level': 'INFO',
            'formatter': 'simple'
        },
        'file': {
            'class': 'logging.FileHandler',
            'filename': 'app.log',
            'level': 'INFO',
            'formatter': 'simple'
        }
    },
    'formatters': {
        'simple': {
            'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
        }
    },
    'loggers': {
        __name__: {
            'handlers': ['console', 'file'],
            'level': 'INFO',
            'propagate': False
        }
    }
}

# 应用配置
dictConfig(logging_config)

logger = logging.getLogger(__name__)
logger.info('Hello, logging!')

额外提醒 #

在IPython环境中，全局命名空间会保留之前运行的变量（包括Logger实例），这才是问题的关键——如果是在普通命令行用python main.py运行，每次都会启动新进程，Logger是全新的，就不会出现重复输出的问题~

内容的提问来源于stack exchange，提问作者xtian