如何避免Python asyncio中process.wait的死锁问题

问题背景 #

Python官方文档明确警告：

当使用stdout=PIPE或stderr=PIPE，且子进程生成大量输出导致其因等待OS管道缓冲区接受更多数据而阻塞时，process.wait方法可能会发生死锁。使用管道时请改用communicate()方法避免此情况。

但在需要逐行处理输出的特定通信协议场景下，communicate()并不适用。以下是触发死锁的典型代码场景：

proc = await asyncio.create_subprocess_exec(
    program, stdout=asyncio.subprocess.PIPE)

# 子进程生成超长行，触发readline异常
try:
    line = await proc.stdout.readline()
except Exception as e:
    # 捕获异常后终止进程
    proc.terminate()
    # 已确认进程PID不存在，但wait()仍会阻塞
    await proc.wait()

已验证的可行解决方案 #

通过主动排空管道缓冲区，可以解除wait()的阻塞：

• 进程终止后，proc.returncode会被正确赋值，说明系统已识别进程终止状态
• 执行await proc.stdout.read()读取管道中剩余的所有数据，排空缓冲区后，await proc.wait()即可正常返回

额外优化思路 #

1. 提前预防缓冲区阻塞：
   启动子进程后，单独创建异步任务持续读取stdout/stderr内容，避免管道缓冲区被填满导致子进程阻塞。示例：

   async def drain_pipe(pipe):
       while True:
           try:
               data = await pipe.read(4096)
               if not data:
                   break
           except Exception:
               break
   
   # 启动子进程后立即启动排空任务
   proc = await asyncio.create_subprocess_exec(program, stdout=asyncio.subprocess.PIPE)
   asyncio.create_task(drain_pipe(proc.stdout))
   

2. 终止进程后全面排空：
   如果同时使用了stderr=PIPE，需要同时排空stdout和stderr，避免遗漏导致的死锁：

   proc.terminate()
   # 并行排空两个管道，忽略可能的异常
   await asyncio.gather(proc.stdout.read(), proc.stderr.read(), return_exceptions=True)
   await proc.wait()
   

3. 异常捕获时的闭环处理：
   在捕获readline()异常后，先确认管道是否有未读取数据，再执行终止和排空操作，确保流程无遗漏。

内容的提问来源于stack exchange，提问作者VPfB