Python多进程日志同时写控制台与不同文件是否会出现冲突？

1. 控制台StreamHandler并发写入问题 #

两个进程同时向同一个stderr写入日志一定会出现输出错乱，不存在概率可忽略的情况。
Python logging模块内置的锁仅为线程级互斥锁，fork出子进程后，父、子进程持有各自独立的锁副本，无法实现跨进程的写入互斥。当两个进程同时向stderr输出时，会出现行内容交织、半截日志、顺序混乱的问题，写入频率越高错乱概率越高。

2. 子进程写入主进程日志文件的问题 #

你的判断有误，子进程大概率会意外写入primary.log文件：
所有Logger默认开启propagate属性，无论命名方式如何，都会将日志逐层向上传递到根Logger（名称为空的Logger）。子进程fork时会完整复制父进程的根Logger配置，其中就包括绑定了primary.log的FileHandler。只要子进程内任何Logger的日志向上传递到根Logger，就会触发该FileHandler写入，两个进程同时写同一个文件不仅会出现内容错乱，极端场景下还可能损坏日志文件。

3. 子进程调用其他模块Logger的干扰问题 #

父子进程的地址空间完全隔离，子进程内的所有Logger对象都是父进程的副本，不会和主进程的同名Logger产生跨进程状态干扰。但子进程内的模块Logger（通过getLogger(__name__)创建）默认也开启了向上传播，日志会传递到子进程自己的根Logger，触发继承的父进程Handler输出，这是唯一的问题点，和主进程无关。

解决方案 #

• 子进程启动后第一时间清理根Logger继承的所有Handler，从根源避免多余输出：

def run(self):
    # 清理继承的根日志Handler，必须放在最前面
    for handler in logging.root.handlers[:]:
        logging.root.removeHandler(handler)
    # 后续配置自己的FileHandler等逻辑
    fh = logging.FileHandler('secondary.log')
    # 其余原有逻辑不变

• 如果不需要子进程日志输出到控制台，清理根Handler后不要额外添加StreamHandler即可；如果需要控制台输出又要避免错乱，建议使用QueueHandler将所有子进程日志转发到主进程统一写入，或使用支持多进程安全的日志库。
• 若仅需要隔离secondary.log这个Logger的输出，也可以单独设置local_logger.propagate = False，但该配置仅对当前Logger生效，无法阻止其他模块Logger的向上传播。

内容的提问来源于stack exchange，提问作者Mat90