Python使用multiprocessing结合socketserver出现broken pipe错误如何解决

问题根因 #

• 你使用的socketserver请求处理器默认会在handle()方法执行结束后自动关闭传入的客户端连接套接字clientsocket。你不在buildprocess中加join()时，buildprocess会立即返回，handle()方法随之执行完毕，套接字被提前关闭，子进程尝试向已关闭的套接字写数据就会触发broken pipe错误。
• 若你的运行平台是Windows/macOS，或是显式设置了spawn作为多进程启动模式，这种模式下子进程不会自动继承父进程的文件描述符，哪怕你传递了套接字对象，底层的连接实际已经失效，也会触发同样的报错。

解决方案 #

方案1（最适合树莓派部署场景） #

Linux平台（包括树莓派）支持fork多进程启动模式，该模式下子进程会完整继承父进程的文件描述符，主进程关闭自己的套接字句柄不会影响子进程的使用。在代码开头设置启动模式即可：

import multiprocessing as mp
# 放在所有多进程相关代码的最前面
mp.set_start_method('fork')
mp.allow_connection_pickling()

同时自定义socketserver请求处理器，重写finish()方法跳过自动关闭套接字的逻辑，避免主进程提前关闭连接：

import socketserver
class CustomRequestHandler(socketserver.BaseRequestHandler):
    def handle(self):
        # 此处写原有逻辑，调用process_manager.buildprocess创建子进程
        pass
    def finish(self):
        # 跳过默认的自动关闭套接字逻辑
        pass

记得在子进程的通信逻辑结束后，主动关闭套接字避免资源泄漏。

方案2：用套接字文件描述符传递 #

如果需要兼容spawn模式，可以传递文件描述符而非套接字对象，子进程自行重构套接字：

1. 主进程传参时改为传递clientsocket.fileno()、套接字的地址族、类型参数
2. 子进程中用如下代码重构套接字：

import socket
def callprocess(periclass, peritype, sock_fd, sock_family, sock_type, inqueue, genqueue):
    clientsocket = socket.fromfd(sock_fd, sock_family, sock_type)
    periclass.startup(clientsocket)

方案3：复用socketserver自带的多进程模式 #

直接使用socketserver.ForkingTCPServer，每个请求自动创建子进程处理，无需自行管理Process实例，套接字生命周期由socketserver自动处理，无需担心提前关闭的问题。你只需要在业务逻辑中将连接信息注册到你的ProcessManager中即可实现全局管理。

内容的提问来源于stack exchange，提问作者kadytoast