使用subprocess.Popen结合os.waitpid()时如何提取命令输出？

问题原因 #

当你用os.waitpid(p.pid, 0)等待进程结束后再调用p.communicate()会返回空值，核心原因是顺序错了：os.waitpid()会直接等待子进程终止，但此时子进程的stdout/stderr管道内容已经被系统处理，Popen对象的管道文件描述符也会处于不可读取的状态，自然拿不到输出。

最佳解决方案：用communicate()替代os.waitpid() #

其实subprocess.Popen自带的communicate()方法已经帮你做好了「等待进程结束+读取stdout/stderr」的全部工作，完全不需要手动调用os.waitpid()。这种方法既简单又能避免管道死锁问题：

import subprocess

# 启动进程并捕获输出
p = subprocess.Popen(['ls'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
# communicate()会自动等待进程终止，返回stdout和stderr的字节数据
stdout_bytes, stderr_bytes = p.communicate()
# 获取进程返回码
retcode = p.returncode

# 转换为字符串（根据系统编码调整，一般utf-8适用）
stdout = stdout_bytes.decode('utf-8')
stderr = stderr_bytes.decode('utf-8')

print("标准输出：")
print(stdout)
print("标准错误：")
print(stderr)

如果必须使用os.waitpid()怎么办？ #

如果你因为特定场景一定要用os.waitpid()，必须在调用它之前完成对stdout和stderr的读取——还要注意避免死锁：比如子进程往stdout写入大量数据填满管道缓冲区，会导致子进程阻塞，父进程如果先调用os.waitpid()也会阻塞，形成死锁。

推荐用select模块同时监听两个管道的可读状态，逐步读取内容：

import subprocess
import os
import select

p = subprocess.Popen(['ls'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)

stdout_data = b''
stderr_data = b''

# 循环读取直到进程结束
while True:
    # 监听stdout和stderr的文件描述符是否可读
    readable, _, _ = select.select([p.stdout, p.stderr], [], [])
    
    for pipe in readable:
        # 每次读取1024字节
        chunk = os.read(pipe.fileno(), 1024)
        if chunk:
            stdout_data += chunk if pipe == p.stdout else stderr_data += chunk
        else:
            # 管道关闭，停止读取
            pipe.close()
    
    # 检查进程是否已终止
    if p.poll() is not None:
        # 读取剩余内容
        remaining_stdout = p.stdout.read()
        if remaining_stdout:
            stdout_data += remaining_stdout
        remaining_stderr = p.stderr.read()
        if remaining_stderr:
            stderr_data += remaining_stderr
        break

# 确认进程彻底结束
retcode = os.waitpid(p.pid, 0)[1]

# 转换为字符串使用
stdout = stdout_data.decode('utf-8')
stderr = stderr_data.decode('utf-8')

print("标准输出：")
print(stdout)

总结你的原有代码问题 #

你原来的代码先调用os.waitpid()，此时子进程已经终止，它的管道内容即使还存在，Popen的communicate()也会认为管道已被处理、文件描述符失效，所以返回空字节串。正确逻辑是先读取输出，再等待进程结束——而communicate()正是帮你把这两步安全结合的最优方法。

内容的提问来源于stack exchange，提问作者Ibrahim Quraish