Slurm任务中print与logging日志输出时序异常问题咨询

1. seed_everything日志排在print输出之前的原因 #

Python的print语句默认输出到sys.stdout，而PyTorch Lightning的seed_everything函数依赖的logging模块，默认配置下是输出到sys.stderr。当通过Slurm任务运行程序时，标准输出（stdout）和标准错误（stderr）会被重定向到同一个日志文件，但两者的缓冲策略存在差异：

• 当输出目标为文件时，sys.stdout采用块缓冲模式，只有缓冲区填满、程序执行结束，或者手动调用sys.stdout.flush()时，才会把缓冲区内容写入文件。
• sys.stderr默认采用行缓冲（甚至无缓冲）模式，内容会即时写入文件。

你的代码执行顺序是先调用print（内容进入stdout缓冲区暂存），再调用seed_everything（日志通过stderr即时写入文件）。等到程序结束时，stdout缓冲区的内容才被写入文件，最终日志文件里就会出现seed_everything的日志排在print输出之前的情况。

2. 所有日志延迟写入的原因 #

这同样由输出流缓冲策略导致：

• 对于print的stdout输出，当重定向到文件时，Python默认启用块缓冲，不会即时写入磁盘，直到满足缓冲触发条件（缓冲区满、程序退出等）。
• 如果logging模块自定义了FileHandler且未配置行缓冲，或者Slurm本身对任务输出有统一缓存机制（部分Slurm配置会在任务结束后才将所有输出写入日志文件），也会加重这种延迟写入的现象。

内容的提问来源于stack exchange，提问作者Moon