Windows系统下使用multiprocessing.Pipe重定向subprocess stderr报错如何解决

Windows平台下multiprocessing.Pipe()返回的连接对象是Windows命名管道的专属封装，其fileno()返回的不是标准C运行时文件描述符，无法直接用于os.dup2重定向，也不能直接传给subprocess.Popen的stderr参数，这是两次代码都报Bad file descriptor错误的核心原因。

方案1：stderr中转线程（兼容性最高，推荐） #

直接通过subprocess.PIPE捕获Java子进程的stderr，再启动独立线程将stderr内容写入multiprocessing管道的写端，完全规避非标准文件描述符的问题。

import multiprocessing
import subprocess
import threading

def worker(w_conn):
    def read_stderr():
        # 循环读取Java进程stderr，写入管道写端
        for line in iter(sp.stderr.readline, b''):
            w_conn.send_bytes(line)
        w_conn.close()
    
    sp = subprocess.Popen(
        ['java', 'myprogram'],
        stdin=subprocess.PIPE,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE
    )
    # 启动stderr中转线程
    threading.Thread(target=read_stderr, daemon=True).start()
    sp.wait()

def main():
    r_conn, w_conn = multiprocessing.Pipe(False)
    process = multiprocessing.Process(target=worker, args=(w_conn,))
    process.start()
    
    while not r_conn.poll() and process.is_alive():
        # 执行业务逻辑
        pass
    # 读取错误输出
    while r_conn.poll():
        err_content = r_conn.recv_bytes()
        # 处理错误内容，注意Windows控制台编码适配
        print(err_content.decode('gbk', errors='ignore'))
    
    r_conn.close()
    process.join()

if __name__=='__main__':
    main()

方案2：使用标准os.pipe替代multiprocessing.Pipe #

os.pipe()在Windows下返回的是标准C运行时文件描述符，可以直接用于重定向，适合不需要多进程通信复杂能力的场景：

import multiprocessing
import subprocess
import os

def worker(err_write_fd):
    sp = subprocess.Popen(
        ['java', 'myprogram'],
        stdin=subprocess.PIPE,
        stdout=subprocess.PIPE,
        stderr=err_write_fd
    )
    sp.wait()
    os.close(err_write_fd)

def main():
    err_read_fd, err_write_fd = os.pipe()
    process = multiprocessing.Process(target=worker, args=(err_write_fd,))
    process.start()
    os.close(err_write_fd) # 主进程不需要写端，提前关闭
    
    # 读取错误输出
    with os.fdopen(err_read_fd, 'rb') as f:
        for line in f:
            # 处理错误内容，注意Windows控制台编码适配
            print(line.decode('gbk', errors='ignore'))
    
    process.join()

if __name__=='__main__':
    main()

• Windows下Java进程的控制台输出默认编码为GBK，读取时需要适配编码避免乱码
• 中转线程需要设置为守护线程，避免主进程退出时线程卡住导致进程无法正常关闭

内容的提问来源于stack exchange，提问作者meta_geek