Python socketio结合multiprocessing实现进程通信时遇pickle报错的求助
问题根因
- multiprocessing 模块在spawn启动模式(Windows、macOS系统的默认进程启动方式)下,创建子进程时必须把
Process对象关联的所有内容(包括target方法绑定的实例)完整序列化后传递到子进程空间。 - 原代码中直接将
serverObj.run、serverObj.fetchFromQueue作为target传给Process,等同于要把整个SIOSerever实例全量序列化传递。而SIOSerever实例内部持有大量不可序列化的对象:socketio服务端实例内部绑定的threading.Thread对象、eventlet创建的监听socket句柄、WSGI应用实例,这些运行时动态创建的线程、socket句柄本身就不支持跨进程序列化,根本无法被pickle处理,序列化时就会触发Can't pickle <class 'threading.Thread'>的报错。 - 结构层面的写法错误:原代码把主执行逻辑嵌在
masterEngine类的类体内部,这种写法在spawn进程模式下会触发无限递归创建子进程的隐患——子进程启动时会重新导入主模块,重新执行类体定义逻辑,再次触发Process创建逻辑形成死循环。且类体内部的if __name__ == '__main__'判断不符合Python执行逻辑,不属于标准的主流程入口写法。 - 隐藏逻辑bug:就算绕过了序列化限制,把实例硬传到两个子进程,原本想共享的跨进程Queue也会因为实例拷贝的问题,根本无法实现真正的跨进程数据传递。
修复方案
修复的核心逻辑很简单:所有带网络监听、线程实例的对象,不能跨进程传递,要让每个使用它的进程自己在内部初始化;只有multiprocessing.Queue这种天生为跨进程设计的可序列化对象,能从主进程传到子进程,从根源上避开pickle序列化的限制。
具体调整步骤:
- 把主进程启动逻辑从类体内部挪到模块顶层的
if __name__ == '__main__'块中,避免类定义阶段的执行逻辑混乱,同时杜绝spawn模式下的递归创建子进程问题。 - 主进程中只创建可序列化的跨进程Queue实例,不在主进程提前初始化持有socket、线程的服务类实例。
- 将两个子进程的入口从原来的类绑定方法,改成顶层可被序列化的独立函数,在函数内部再初始化对应的服务实例,把Queue作为参数传入。
- 调整
SIOSerever的初始化逻辑,支持从外部传入共享的Queue,不再在初始化时自己创建独立的Queue副本,保证两个子进程访问的是同一个跨进程队列。
修复后代码示例
修改后的multi.py文件
import multiprocessing from multiprocessing import Queue import eventlet import socketio class SIOSerever: def __init__(self, share_queue: Queue): # 绑定主进程传入的共享队列,不再自行创建独立Queue self.cycletimeQueue = share_queue # 网络资源全部在子进程内部初始化,无需跨进程序列化 self.sio = socketio.Server(cors_allowed_origins='*',logger=False) self.app = socketio.WSGIApp(self.sio, static_files={'/': 'index.html',}) self.ws_server = eventlet.listen(('0.0.0.0', 5000)) @self.sio.on('production') def p_message(sid, message): self.cycletimeQueue.put(message) print("I logged : "+str(message)) def run(self): eventlet.wsgi.server(self.ws_server, self.app) def fetchFromQueue(self): while True: cycle = self.cycletimeQueue.get() print(cycle) # 两个顶层进程入口,可被multiprocessing正常序列化 def sio_server_worker(share_queue: Queue): server = SIOSerever(share_queue) server.run() def queue_fetch_worker(share_queue: Queue): server = SIOSerever(share_queue) server.fetchFromQueue()
修改后的主引擎代码
import multiprocessing from multiprocessing import Queue from multi import sio_server_worker, queue_fetch_worker # 主逻辑放在模块顶层的主程序判断块中 if __name__ == '__main__': # 主进程仅创建可序列化的跨进程队列 share_queue = Queue() try: # 传递可序列化的队列参数,不再传递持有不可序列化资源的实例 receiveData = multiprocessing.Process(target=sio_server_worker, args=(share_queue,)) receiveData.start() receiveProcess = multiprocessing.Process(target=queue_fetch_worker, args=(share_queue,)) receiveProcess.start() receiveData.join() receiveProcess.join() except Exception as error: print(error)
注意:如果后续遇到eventlet和multiprocessing的线程兼容问题,可以在每个子进程入口函数的最开头加上
eventlet.monkey_patch(),提前替换系统原生的线程、socket组件,避免运行时的线程冲突。
内容的提问来源于stack exchange,提问作者Aaditya Damani
相关产品推荐
相关产品推荐

