使用multiprocessing.Pipe重定向子进程stdout/stderr时读取阻塞问题求助

其实用multiprocessing.Pipe来实现子进程stdout/stderr重定向到主进程是完全可行的——你遇到的阻塞和OSError问题，几乎都是因为实现细节没处理到位，而非方案本身不可行。我来帮你拆解问题和解决思路：

核心问题：管道的正确关闭与读写逻辑 #

首先要明确，multiprocessing.Pipe本质是封装了跨平台的底层管道（Unix用socketpair，Windows用命名管道），但它的阻塞特性要求你严格处理管道两端的生命周期：

• 任何一端如果没有被正确关闭，管道的EOF信号不会触发，主进程的recv()就会一直阻塞等待数据。
• 如果你用recv_bytes(maxlength)时触发OSError，大概率是因为管道已经被关闭（子进程退出但没关写端，或者你读取了超过管道剩余数据的长度），或者管道处于异常状态。

正确的实现步骤（附示例代码） #

要避免阻塞和错误，你需要按照以下步骤来写：

1. 创建单向管道：优先用duplex=False创建单向管道（子进程写，主进程读），减少不必要的双向交互。
2. 关闭无用的管道端：主进程要关闭写端，子进程要关闭读端——这是很多人忽略的关键，不关闭的话管道永远不会触发EOF。
3. 用os.dup2重定向文件描述符：multiprocessing.Pipe的对象不能直接替换sys.stdout，必须用os.dup2把管道的写端文件描述符替换成stdout/stderr的fd。
4. 非阻塞读取或处理EOF：不要直接死循环调用recv()，可以用select模块监听管道的可读事件，或者捕获EOFError来终止读取。

示例代码：

import multiprocessing
import os
import sys
import select

def child_task(pipe_write):
    # 重定向stdout和stderr到管道写端
    os.dup2(pipe_write.fileno(), sys.stdout.fileno())
    os.dup2(pipe_write.fileno(), sys.stderr.fileno())
    
    # 模拟子进程输出
    print("This is child stdout output")
    sys.stderr.write("This is child stderr output\n")
    
    # 必须关闭管道写端，否则主进程会一直阻塞等待EOF
    pipe_write.close()

if __name__ == "__main__":
    # 创建单向管道
    pipe_read, pipe_write = multiprocessing.Pipe(duplex=False)
    child_proc = multiprocessing.Process(target=child_task, args=(pipe_write,))
    child_proc.start()
    
    # 主进程关闭写端（不再向管道写数据）
    pipe_write.close()
    
    # 用select实现非阻塞读取，避免无限阻塞
    while True:
        # 监听管道可读事件，超时1秒
        ready, _, _ = select.select([pipe_read], [], [], 1)
        if ready:
            try:
                data = pipe_read.recv()
                print(f"Main process got data: {data.strip()}")
            except EOFError:
                # 管道已关闭，退出循环
                break
        # 检查子进程是否已经退出，避免空循环
        if not child_proc.is_alive():
            break
    
    child_proc.join()

是否需要改用底层管道？ #

除非你需要极致的底层控制（比如自定义管道缓冲区大小、处理特殊的跨平台场景），否则完全没必要用os.pipe()这类底层函数。multiprocessing.Pipe已经做了跨平台兼容封装，比自己手动实现底层管道要可靠得多。

常见坑点总结 #

• 忘记关闭管道的无用端：这是导致recv()阻塞的最常见原因。
• 直接用Pipe对象替换sys.stdout：必须用os.dup2操作文件描述符，因为sys.stdout要求是文件类对象，而Pipe对象不符合。
• 忽略EOFError：当子进程关闭写端后，主进程的recv()会抛出EOFError，需要捕获这个异常来终止读取。

内容的提问来源于stack exchange，提问作者gruszczy