Python logging模块多文件与控制台同时日志记录问题

我来帮你梳理下当前代码的问题，然后给出符合需求的解决方案：

问题根源分析 #

你的代码存在三个核心问题：

1. 日志传播关系错误：main_file_logger和submission_*_file logger是完全独立的实例，没有层级关联，所以带submission_id的日志不会自动流入main.log。而控制台能看到所有日志，是因为默认情况下所有logger会把日志向上传播到root logger（你用basicConfig给root加了控制台handler）。
2. 日志格式未配置到文件handler：你只通过basicConfig给root logger设置了格式，但FileHandler默认没有继承这个格式，所以日志文件里只有纯文本消息。
3. 重复添加handler风险：每次调用带同一个submission_id的loggingHelper时，都会给对应的logger新增一个FileHandler，导致后续同一条日志会被重复写入多次。

修正后的完整代码 #

import logging
import os

# 确保logs目录存在，避免创建文件时出错
os.makedirs('logs', exist_ok=True)

# 定义统一的日志格式
LOG_FORMAT = logging.Formatter('%(asctime)s: %(levelname)s: %(message)s')

# --------------------------
# 初始化主日志配置
# --------------------------
# 1. 创建控制台handler，负责输出到控制台
console_handler = logging.StreamHandler()
console_handler.setFormatter(LOG_FORMAT)
console_handler.setLevel(logging.DEBUG)

# 2. 创建main.log文件handler，负责写入主日志文件
main_file_handler = logging.FileHandler('logs/main.log')
main_file_handler.setFormatter(LOG_FORMAT)
main_file_handler.setLevel(logging.DEBUG)

# 创建主logger，作为所有业务日志的父节点
main_logger = logging.getLogger('application')
main_logger.setLevel(logging.DEBUG)
main_logger.addHandler(console_handler)
main_logger.addHandler(main_file_handler)
# 禁止主日志向上传播到root，避免重复输出（因为basicConfig会给root加handler）
main_logger.propagate = False

# 缓存已创建的submission logger，避免重复添加handler
_submission_loggers = {}

def loggingHelper(message, level='info', submission_id=None):
    method_name = level.lower().strip()
    # 校验日志级别合法性
    valid_levels = {'debug', 'info', 'warning', 'error', 'critical'}
    if method_name not in valid_levels:
        method_name = 'info'
    
    # 选择对应的logger
    if not submission_id:
        target_logger = main_logger
    else:
        logger_key = f'submission_{submission_id}'
        # 缓存中没有则创建新的submission logger
        if logger_key not in _submission_loggers:
            # 创建主logger的子logger，自动继承日志传播关系
            submission_logger = logging.getLogger(f'application.{logger_key}')
            submission_logger.setLevel(logging.DEBUG)
            # 创建对应submission的文件handler
            submission_file_handler = logging.FileHandler(f'logs/{logger_key}.log')
            submission_file_handler.setFormatter(LOG_FORMAT)
            submission_logger.addHandler(submission_file_handler)
            _submission_loggers[logger_key] = submission_logger
        target_logger = _submission_loggers[logger_key]
    
    # 调用对应的日志方法
    getattr(target_logger, method_name)(message)

关键改进点说明 #

1. 层级化logger设计：让submission logger成为application主logger的子节点（命名格式application.submission_xxx），这样submission的日志会自动向上传播到主logger，从而同时写入main.log和控制台，同时自己的文件handler会写入专属日志文件。
2. 统一格式配置：给所有handler（控制台、main.log、submission.log）都设置了相同的Formatter，确保所有输出渠道的日志格式一致。
3. 缓存submission logger：用_submission_loggers字典缓存已创建的submission logger，避免重复添加handler导致的重复日志问题。
4. 关闭主logger的向上传播：防止主logger的日志再传到root logger，避免控制台重复输出（如果之前用basicConfig给root加了handler的话）。

测试效果验证 #

运行你的测试代码后：

• 控制台会输出所有5条日志，格式完全符合预期；
• main.log会包含所有5条日志（1、2、3、4、5），格式正确；
• submission_3.log仅包含日志3，submission_4.log仅包含日志4，格式正确；
• 多次调用同一个submission_id也不会出现重复日志的问题。

内容的提问来源于stack exchange，提问作者Zahin Zaman