如何让SLURM实时写入Julia程序的输出文件？

核心原因 #

Julia在非交互式环境（比如SLURM作业脚本）中默认会对标准输出（stdout）进行缓冲，只有当缓冲区满或者程序结束时才会写入文件；加上SLURM本身的输出转发机制，就导致了你看到的延迟更新现象。

可行解决方案 #

1. 修改Julia代码强制刷新输出 #

这是最直接且性能影响最小的方法，在每次打印后手动刷新输出缓冲区：

for ii=1:50
    println("ii=",ii)
    flush(stdout)  # 强制将缓冲区内容写入文件
    sleep(1.0)
end

这样每次println的内容会立刻写入SLURM指定的*.out文件，你用cat或tail -f就能实时看到进度。

2. 启动Julia时禁用输出缓冲 #

通过设置Julia的环境变量，让程序启动时就关闭stdout的缓冲，不需要修改代码：
在SLURM脚本中，运行Julia前先设置环境变量，或者直接在命令行指定：

# 方法一：先设置环境变量
export JULIA_STDOUT_UNBUFFERED=1
julia -t$SLURM_CPUS_PER_TASK MWE.jl

# 方法二：在启动命令中直接注入环境变量
JULIA_STDOUT_UNBUFFERED=1 julia -t$SLURM_CPUS_PER_TASK MWE.jl

这个环境变量会告诉Julia不对stdout做缓冲处理，输出会实时写入日志文件。

3. SLURM脚本补充配置（辅助优化） #

确保SLURM的输出文件以追加模式打开（默认可能已开启，但显式设置更保险），在SBATCH参数中添加：

#SBATCH --open-mode=append

这个参数避免SLURM在作业运行时覆盖日志文件，同时配合前面的Julia端设置，能保证输出实时性。

关于你尝试过的其他方法的说明 #

• srun变慢：srun会启动SLURM的任务管理进程，对多线程Julia程序可能产生额外的调度开销，尤其是复杂代码场景，不建议用这种方式解决缓冲问题。
• tee和stdbuf无效：tee在非交互式脚本中依然会依赖系统的输出缓冲；stdbuf之所以无效，是因为Julia自己接管了stdout的缓冲逻辑，系统层面的缓冲设置无法覆盖它。

内容的提问来源于stack exchange，提问作者mancolric