Linux下如何让Python脚本实时同时打印输出并同步写入文件
问题原因
原有命令无法实现实时同步,核心是两个机制问题:
- Python脚本的标准输出被重定向到文件而非终端时,默认会启用块缓冲:会攒够数KB的输出内容才统一写入目标文件,不会随脚本执行逐行同步
- 单纯的重定向操作会把所有输出导向文件,当前执行终端无法实时查看运行状态
可直接使用的命令方案
方案1(最推荐):Python无缓冲参数+tee命令组合
执行命令:python -u scriptname.py arg1 arg2 2>&1 | tee output.txt &
各部分作用说明:
-u:强制Python关闭标准输出、标准错误的块缓冲,所有脚本打印的内容会立即输出,不会滞留在缓冲区2>&1:将标准错误流合并到标准输出流,保证脚本运行中的报错、堆栈信息也能被同步打印和写入文件| tee output.txt:将Python的全量输出同时实现两个动作:实时打印到当前终端、逐行写入指定的output.txt文件- 末尾
&:保留原命令的后台运行能力,不占用当前终端会话
方案2:环境变量配置无缓冲(无需修改Python启动参数)
如果不方便给Python命令加-u参数,可以通过设置环境变量达到完全相同的缓冲效果,执行命令:PYTHONUNBUFFERED=1 python scriptname.py arg1 arg2 2>&1 | tee output.txt &
注意事项
- 无论使用哪种方案,都不能跳过无缓冲配置:如果只单独用
tee而不解决Python的块缓冲问题,依然会出现运行很久后,终端和文件才一次性刷出批量内容的情况,和最初遇到的问题表现完全一致 tee本身对大尺寸输出的处理没有性能瓶颈,你场景下35000行的输出规模完全不会造成卡顿、丢行的问题- 如果不需要后台运行,去掉命令末尾的
&即可前台执行,同样可以实现边实时查看输出、边同步写文件的效果
内容的提问来源于stack exchange,提问作者Susmitha Thallapally
相关产品推荐
相关产品推荐

