PyTorch DDP场景下Logging失效原因及修复方案咨询

你遇到的问题其实是logging模块的基础配置逻辑导致的，我来拆解一下原因和解决办法：

为什么会出现这个问题？ #

Python的logging模块默认是**没有任何输出处理器（Handler）**的。当你只给logger设置级别logger.setLevel(logging.DEBUG)，却没有添加任何Handler时，日志消息没有输出渠道，会直接被丢弃。

而logging.basicConfig(level=logging.DEBUG)的作用，是帮你快速配置一个默认的StreamHandler（把日志输出到控制台），同时设置全局的日志级别。一旦调用这个方法，你的logger就能通过这个默认Handler把日志打出来——这就是为什么取消注释后日志恢复正常的原因。

另外要注意：DDP启动的每个进程都是独立的Python进程，logging的配置是进程隔离的，所以rank=0的配置不会影响其他进程，但这里的核心问题是rank=0进程自己的logger缺少输出Handler。

修复方法（两种可选） #

方法1：显式给logger添加Handler（推荐，更灵活） #

直接给rank=0的logger添加自定义的Handler，不需要依赖全局的basicConfig，这样能更精准地控制日志格式和输出目标：

if rank == 0:
    logger = logging.getLogger('train')
    logger.setLevel(logging.DEBUG)
    
    # 创建控制台输出Handler
    console_handler = logging.StreamHandler()
    console_handler.setLevel(logging.DEBUG)
    
    # 自定义日志格式（可选）
    formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
    console_handler.setFormatter(formatter)
    
    # 将Handler添加到logger
    logger.addHandler(console_handler)
    
    logger.info(f'Running DDP on rank={rank}.')

这种方式可以自由扩展，比如添加FileHandler把日志写入文件，或者设置不同的日志级别过滤规则。

方法2：仅在rank=0进程中调用basicConfig #

如果你想继续使用basicConfig的便捷性，可以把它放在rank=0的判断逻辑里，避免其他进程也配置logging（防止多进程重复输出）：

if rank == 0:
    logging.basicConfig(level=logging.DEBUG)
    logger = logging.getLogger('train')
    logger.info(f'Running DDP on rank={rank}.')

这样只有rank=0进程会初始化默认的控制台Handler，其他进程不会产生日志输出，符合你的需求。

额外注意事项 #

• 不要在所有DDP进程中都调用basicConfig，否则每个进程都会输出日志，会导致控制台日志混乱。
• 如果需要输出日志到文件，建议仅让rank=0进程负责写入，或者给每个进程的日志文件单独命名（比如包含rank编号），避免多进程写文件时出现竞争或内容覆盖。

内容的提问来源于stack exchange，提问作者Tengerye