如何复现Popen.wait()死锁问题并验证Popen.communicate()修复效果？

我来给你一步步拆解这个问题——不管是复现Popen.wait()的死锁，还是验证communicate()的修复效果，用几行Python代码就能搞定，咱们直接上实操：

先明确什么是这里的死锁 #

这里的死锁指父进程和子进程互相等待，陷入无限阻塞：父进程调用wait()后，等着子进程退出；但子进程因为要输出的内容填满了操作系统的管道缓冲区，被迫阻塞，等着父进程把缓冲区里的数据读走。两边都卡着，谁也没法继续。

1. 复现wait()导致的死锁 #

运行下面的代码，你会发现程序直接卡住，永远到不了后续的输出步骤：

from subprocess import Popen, PIPE
import sys

# 让子进程生成大量输出（100万行，每行100个字符）
cmd = [sys.executable, "-c", "print('a'*100 + '\\n')*100000"]

# 启动子进程，同时捕获stdout和stderr到管道
proc = Popen(cmd, stdout=PIPE, stderr=PIPE, text=True)

# 调用wait()等待子进程结束——这里会触发死锁
proc.wait()

# 下面的代码永远执行不到
output, error = proc.communicate()
print("Output length:", len(output))

为什么会卡死？
操作系统的管道缓冲区容量有限（一般在几KB到几十KB之间）。当子进程往管道里写数据，缓冲区被填满后，子进程就会暂停输出，等着父进程读取数据释放缓冲区。但此时父进程正卡在wait()，完全没去读管道里的内容，于是两边就陷入了互相等待的死循环。

2. 用communicate()修复死锁 #

把上面的代码改成用communicate()替代wait()，程序就能顺利执行完成：

from subprocess import Popen, PIPE
import sys

cmd = [sys.executable, "-c", "print('a'*100 + '\\n')*100000"]

proc = Popen(cmd, stdout=PIPE, stderr=PIPE, text=True)

# 用communicate()替代wait()：它会自动持续读取stdout/stderr，同时等待子进程结束
output, error = proc.communicate()

print("Output length:", len(output))
print("Process return code:", proc.returncode)

communicate()的原理：它会在后台异步读取子进程的输出，及时释放管道缓冲区，避免子进程因为缓冲区满而阻塞；同时它会等待子进程退出，相当于把wait()和读管道的操作合并成了一个安全的原子操作。

不过要注意官方文档的提醒：如果子进程输出的数据量极大（比如几个GB级别），communicate()会把所有数据加载到内存中，可能导致内存不足。这种场景下，建议直接把输出重定向到文件（比如stdout=open('large_output.txt', 'w')），而不是用管道捕获。

验证效果 #

• 运行死锁代码：程序会一直卡住，你需要手动终止（比如按Ctrl+C）。
• 运行修复后的代码：程序会顺利跑完，输出内容的长度和子进程的返回码，完全不会阻塞。

内容的提问来源于stack exchange，提问作者rokpoto.com