为何Python subprocess捕获TimeoutExpired异常后丢失stdout？

相关代码 #

app.py #

import subprocess
import time

if __name__ == '__main__':
    outs = ''
    p = subprocess.Popen(['python3', 'app2.py'], stdout=subprocess.PIPE,
                          text=True)
    
    try:
          p.communicate(timeout=3)
    except subprocess.TimeoutExpired:
          p.kill()
          outs, _ = p.communicate()
          print(outs)

app2.py #

import time

if __name__ == '__main__':
    while True:
        print("counter")
        time.sleep(1)

问题描述 #

根据Python官方文档说明：

如果进程在timeout秒后未终止，将抛出TimeoutExpired异常。捕获该异常并重试通信不会丢失任何输出。

但直接运行python3 app.py时，终端无任何输出；而在VSCode调试模式下运行，却能正常捕获到子进程输出的counter内容，这一现象的原因是什么？

原因分析 #

核心问题出在Python的标准输出缓冲机制：

• 当子进程的stdout关联到管道（如父进程用stdout=subprocess.PIPE）时，Python默认采用块缓冲模式——只有当输出缓冲区被填满（通常是4KB或8KB），或者进程正常退出时，才会把缓冲区内容写入管道。
• app2.py中每次print("counter")的内容很短，远没达到缓冲区阈值，且子进程是被强制kill而非正常退出，所以缓冲区里的内容根本没来得及写入管道，父进程自然拿不到输出。
• 而VSCode调试模式下，Python解释器会自动启用无缓冲/行缓冲模式（相当于设置了环境变量PYTHONUNBUFFERED=1），子进程的每一行输出都会实时刷新到管道，因此父进程kill后能捕获到之前的输出内容。

解决方案 #

可以通过以下几种方式强制子进程实时刷新输出：

方案1：修改子进程的print语句，强制刷新 #

在app2.py的print中添加flush=True参数，每次输出后立刻刷新缓冲区：

print("counter", flush=True)

方案2：父进程启动子进程时设置行缓冲 #

在Popen中添加bufsize=1参数（配合text=True时，会启用行缓冲）：

p = subprocess.Popen(['python3', 'app2.py'], stdout=subprocess.PIPE,
                      text=True, bufsize=1)

方案3：给子进程设置无缓冲环境变量 #

通过env参数传递PYTHONUNBUFFERED=1，强制Python禁用输出缓冲（需要先import os）：

import os
# ...
p = subprocess.Popen(['python3', 'app2.py'], stdout=subprocess.PIPE,
                      text=True, env={**os.environ, 'PYTHONUNBUFFERED': '1'})

内容的提问来源于stack exchange，提问作者shan