Python logging模块如何为不同任务生成独立日志文件？

技术栈：Python 3.11.3

现有my_logger.py类，其__init__方法包含以下代码，且已在模块入口初始化该日志类，当前日志可同时写入文件和控制台，运行正常：

import logging

logging.basicConfig(
    level=logging.DEBUG,
    filename="logFilePath.log",
    format=loggingFormat,
    datefmt="%Y-%m-%d %I:%M:%S %p",
    style="%",
)

需求：为脚本的每个“任务”生成独立日志文件，示例代码如下，希望循环中每条日志分别写入task1.log、task2.log、task3.log等独立文件：

for task in ["task1", "task2", "task3"]:
    logger.info(f"this line is written to {task}.log file")

尝试在每次循环开始时调用logging.basicConfig(filename=task)但无效，求正确配置方式。

为什么logging.basicConfig无效？ #

logging.basicConfig只会在第一次调用时生效，后续调用会被直接忽略——这是Python logging模块的设计逻辑，目的是避免重复配置根日志器。所以循环里反复调用它修改文件名根本不会起作用。

两种可行实现方案 #

方案1：为每个任务创建独立日志器实例

直接为每个任务初始化专属日志器，每个日志器绑定自己的FileHandler，互不干扰：

import logging

def get_task_logger(task_name):
    # 创建独立日志器，用任务名作为日志器标识
    logger = logging.getLogger(task_name)
    logger.setLevel(logging.DEBUG)
    
    # 避免重复添加Handler（如果多次调用该函数）
    if logger.handlers:
        return logger
    
    # 创建任务专属的文件Handler
    file_handler = logging.FileHandler(f"{task_name}.log")
    file_handler.setLevel(logging.DEBUG)
    
    # 复用原日志格式配置
    formatter = logging.Formatter(
        loggingFormat,
        datefmt="%Y-%m-%d %I:%M:%S %p",
        style="%"
    )
    file_handler.setFormatter(formatter)
    logger.addHandler(file_handler)
    
    # 如需同时输出到控制台，添加StreamHandler
    console_handler = logging.StreamHandler()
    console_handler.setFormatter(formatter)
    logger.addHandler(console_handler)
    
    return logger

# 使用示例
for task in ["task1", "task2", "task3"]:
    task_logger = get_task_logger(task)
    task_logger.info(f"this line is written to {task}.log file")

方案2：动态切换全局日志器的FileHandler

如果不想创建多个日志器，可以动态修改全局日志器的文件输出目标：

import logging

# 初始化全局日志器，先只保留控制台输出
logging.basicConfig(
    level=logging.DEBUG,
    format=loggingFormat,
    datefmt="%Y-%m-%d %I:%M:%S %p",
    style="%",
    handlers=[logging.StreamHandler()]
)

def switch_task_log_file(task_name):
    logger = logging.getLogger()
    # 移除旧的文件Handler并关闭文件句柄，避免资源泄漏
    for handler in list(logger.handlers):
        if isinstance(handler, logging.FileHandler):
            logger.removeHandler(handler)
            handler.close()
    
    # 添加新的任务文件Handler
    file_handler = logging.FileHandler(f"{task_name}.log")
    formatter = logging.Formatter(
        loggingFormat,
        datefmt="%Y-%m-%d %I:%M:%S %p",
        style="%"
    )
    file_handler.setFormatter(formatter)
    logger.addHandler(file_handler)

# 使用示例
for task in ["task1", "task2", "task3"]:
    switch_task_log_file(task)
    logging.info(f"this line is written to {task}.log file")

注意事项 #

• 方案1更适合多任务并行场景，每个日志器独立，不会互相干扰；
• 方案2适合单线程串行任务，切换时必须关闭旧文件句柄，防止资源占用；
• 替换代码中的loggingFormat为你实际使用的日志格式字符串。

内容的提问来源于stack exchange，提问作者scorpion35