subprocess.PIPE读取时bash echo实时输出、Python print滞后的原因是什么？

核心差异和echo/print的语法逻辑无关，本质是标准I/O流的默认缓冲策略不同导致的。

通用I/O缓冲规则 #

所有进程的标准输出（stdout）都会遵循系统默认的缓冲规则：

• 当stdout绑定的是交互式终端（直接在命令行运行脚本的场景）时，默认启用行缓冲：输出内容碰到换行符就会立刻将缓冲区内容写入到输出流。
• 当stdout绑定的是管道、文件等非交互式设备时（用subprocess.PIPE承接输出的场景），默认启用全缓冲：只有当缓冲区攒到固定大小（通常是4KB/8KB），或者进程主动退出时，才会一次性将缓冲区的所有内容刷出。

两者行为差异的具体原因 #

• bash脚本中的echo：shell的实现逻辑中，echo命令输出带换行的内容时，即使输出目标是管道，也会主动触发缓冲区刷写，所以每执行一次echo，内容就会立刻写入管道，父进程就能实时读到单行输出。
• Python脚本中的print：Python的标准输出默认严格遵循系统缓冲规则，当检测到输出目标不是终端时，就算print带换行符，也不会主动刷写缓冲区。示例中的输出内容只有短短几行，远没到缓冲区阈值，所以内容会一直攒在缓冲区，直到5次循环结束、Python进程退出时才一次性全部刷出，父进程就会一次性拿到所有输出。

要让被调用的Python脚本也能实时输出，可选以下任意一种方案：

1. 修改被调用Python脚本的print语句，手动添加flush参数强制刷写缓冲：

   print('Iteration %d'%i, flush=True)
   

2. 启动Python子进程时添加-u参数，强制Python进程的标准输入输出启用无缓冲模式：
   可以将script.py中的command修改为：

   command = 'python3 -u ./loopWithSleep.py'
   

   或者直接修改loopWithSleep.py的shebang行：

   #!/usr/bin/python3 -u
   

3. 启动子进程时设置PYTHONUNBUFFERED环境变量为1，效果和添加-u参数完全一致：

   process = subprocess.Popen(shlex.split(command),shell=True,stdout=subprocess.PIPE, env={"PYTHONUNBUFFERED":"1"})
   

内容的提问来源于stack exchange，提问作者Lee