Python 2.7进程间管道实时消息传输问题求助

这个问题我之前踩过坑！核心原因是子进程读取管道时在等EOF（文件结束符），而EOF只有当管道的所有写端都被关闭时才会触发。如果父进程一直持有写端不关闭，子进程用read()或readlines()这类一次性读取的方法就会阻塞，直到父进程退出（系统自动关闭父进程的写端）才会处理消息。

要实现子进程一收到消息就实时处理，咱们得这么做：

• 用os.pipe()创建管道做单向通信（父写子读）
• 子进程循环逐行读取管道内容，每读到一行就立刻处理
• 父进程写完消息后要么主动关写端（一次性发送场景），要么强制刷新缓冲区确保消息即时发送（持续通信场景）

完整可运行示例代码 #

import os
import sys
import time

def child_process(read_fd):
    # 把文件描述符转成文件对象，方便逐行读
    read_file = os.fdopen(read_fd, 'r')
    print("子进程启动，等待消息...")
    # 循环逐行读取，读到一行就处理一行
    for line in read_file:
        message = line.strip()
        print("子进程收到消息：{}".format(message))
        # 这里替换成你的业务处理逻辑
    read_file.close()
    print("子进程结束")

def parent_process(write_fd):
    write_file = os.fdopen(write_fd, 'w')
    # 模拟分批次发消息，中间做其他工作
    for i in range(3):
        message = "这是第{}条消息".format(i+1)
        print("父进程发送消息：{}".format(message))
        write_file.write(message + '\n')
        # 强制刷新缓冲区，别让消息憋在内存里
        write_file.flush()
        # 模拟父进程的其他耗时操作
        time.sleep(1)
    # 发完所有消息后关写端，子进程会收到EOF退出循环
    write_file.close()
    print("父进程结束")

if __name__ == '__main__':
    # 创建管道，返回读、写端的文件描述符
    read_fd, write_fd = os.pipe()
    # fork子进程
    pid = os.fork()
    if pid == 0:
        # 子进程用不上写端，赶紧关了（不然EOF永远不会来）
        os.close(write_fd)
        child_process(read_fd)
        sys.exit(0)
    else:
        # 父进程用不上读端，也关了
        os.close(read_fd)
        parent_process(write_fd)
        # 等子进程跑完再退出
        os.waitpid(pid, 0)

关键细节拆解 #

• 关闭无用管道端：子进程必须关写端、父进程必须关读端——不然管道的EOF永远触发不了，子进程会一直堵着。如果是持续通信场景，可以不关，但要加退出判断（比如发特定结束指令）。
• 逐行循环读取：子进程用for line in read_file:的方式读取，这会在每次读到一行时立刻返回，不会等所有内容都写完。
• 强制flush缓冲区：父进程写完消息后一定要调用flush()，避免消息被缓冲在内存里，确保即时发送到管道。
• 换行符分割消息：因为for line in ...是按换行符分割的，所以父进程发消息时要加\n，子进程才能正确识别每一条独立消息。

持续通信场景改造 #

如果需要父进程持续发消息（不立刻关写端），可以加个退出指令，比如让父进程输入quit结束，子进程读到后主动退出：

修改后的父进程逻辑

def parent_process(write_fd):
    write_file = os.fdopen(write_fd, 'w')
    while True:
        message = raw_input("父进程输入消息（输入quit退出）：")
        write_file.write(message + '\n')
        write_file.flush()
        if message == 'quit':
            break
    write_file.close()
    print("父进程结束")

修改后的子进程逻辑

def child_process(read_fd):
    read_file = os.fdopen(read_fd, 'r')
    print("子进程启动，等待消息...")
    for line in read_file:
        message = line.strip()
        print("子进程收到消息：{}".format(message))
        if message == 'quit':
            print("子进程收到结束指令，准备退出")
            break
    read_file.close()
    print("子进程结束")

这样就能实现父子进程的实时交互，子进程一收到消息就立刻处理，完全不用等父进程退出。

内容的提问来源于stack exchange，提问作者user1102018