You need to enable JavaScript to run this app. Python socketio结合multiprocessing实现进程通信时遇pickle报错的求助
优惠活动
大模型
产品
解决方案
定价
更多

Python socketio结合multiprocessing实现进程通信时遇pickle报错的求助

问题根因
  • multiprocessing 模块在spawn启动模式(Windows、macOS系统的默认进程启动方式)下,创建子进程时必须把Process对象关联的所有内容(包括target方法绑定的实例)完整序列化后传递到子进程空间。
  • 原代码中直接将serverObj.run、serverObj.fetchFromQueue作为target传给Process,等同于要把整个SIOSerever实例全量序列化传递。而SIOSerever实例内部持有大量不可序列化的对象:socketio服务端实例内部绑定的threading.Thread对象、eventlet创建的监听socket句柄、WSGI应用实例,这些运行时动态创建的线程、socket句柄本身就不支持跨进程序列化,根本无法被pickle处理,序列化时就会触发Can't pickle <class 'threading.Thread'>的报错。
  • 结构层面的写法错误:原代码把主执行逻辑嵌在masterEngine类的类体内部,这种写法在spawn进程模式下会触发无限递归创建子进程的隐患——子进程启动时会重新导入主模块,重新执行类体定义逻辑,再次触发Process创建逻辑形成死循环。且类体内部的if __name__ == '__main__'判断不符合Python执行逻辑,不属于标准的主流程入口写法。
  • 隐藏逻辑bug:就算绕过了序列化限制,把实例硬传到两个子进程,原本想共享的跨进程Queue也会因为实例拷贝的问题,根本无法实现真正的跨进程数据传递。
修复方案

修复的核心逻辑很简单:所有带网络监听、线程实例的对象,不能跨进程传递,要让每个使用它的进程自己在内部初始化;只有multiprocessing.Queue这种天生为跨进程设计的可序列化对象,能从主进程传到子进程,从根源上避开pickle序列化的限制。
具体调整步骤:

  • 把主进程启动逻辑从类体内部挪到模块顶层的if __name__ == '__main__'块中,避免类定义阶段的执行逻辑混乱,同时杜绝spawn模式下的递归创建子进程问题。
  • 主进程中只创建可序列化的跨进程Queue实例,不在主进程提前初始化持有socket、线程的服务类实例。
  • 将两个子进程的入口从原来的类绑定方法,改成顶层可被序列化的独立函数,在函数内部再初始化对应的服务实例,把Queue作为参数传入。
  • 调整SIOSerever的初始化逻辑,支持从外部传入共享的Queue,不再在初始化时自己创建独立的Queue副本,保证两个子进程访问的是同一个跨进程队列。

修复后代码示例

修改后的multi.py文件

import multiprocessing
from multiprocessing import Queue
import eventlet
import socketio

class SIOSerever:
  def __init__(self, share_queue: Queue):
    # 绑定主进程传入的共享队列,不再自行创建独立Queue
    self.cycletimeQueue = share_queue
    # 网络资源全部在子进程内部初始化,无需跨进程序列化
    self.sio = socketio.Server(cors_allowed_origins='*',logger=False)
    self.app = socketio.WSGIApp(self.sio, static_files={'/': 'index.html',})
    self.ws_server = eventlet.listen(('0.0.0.0', 5000))

    @self.sio.on('production')
    def p_message(sid, message):
      self.cycletimeQueue.put(message)
      print("I logged : "+str(message))

  def run(self):
    eventlet.wsgi.server(self.ws_server, self.app)

  def fetchFromQueue(self):
    while True:
      cycle = self.cycletimeQueue.get()
      print(cycle)

# 两个顶层进程入口,可被multiprocessing正常序列化
def sio_server_worker(share_queue: Queue):
    server = SIOSerever(share_queue)
    server.run()

def queue_fetch_worker(share_queue: Queue):
    server = SIOSerever(share_queue)
    server.fetchFromQueue()

修改后的主引擎代码

import multiprocessing
from multiprocessing import Queue
from multi import sio_server_worker, queue_fetch_worker

# 主逻辑放在模块顶层的主程序判断块中
if __name__ == '__main__': 
    # 主进程仅创建可序列化的跨进程队列
    share_queue = Queue()
    try:
        # 传递可序列化的队列参数,不再传递持有不可序列化资源的实例
        receiveData = multiprocessing.Process(target=sio_server_worker, args=(share_queue,))
        receiveData.start()

        receiveProcess = multiprocessing.Process(target=queue_fetch_worker, args=(share_queue,))
        receiveProcess.start()

        receiveData.join()
        receiveProcess.join()
    except Exception as error:
        print(error)

注意:如果后续遇到eventlet和multiprocessing的线程兼容问题,可以在每个子进程入口函数的最开头加上eventlet.monkey_patch(),提前替换系统原生的线程、socket组件,避免运行时的线程冲突。

内容的提问来源于stack exchange,提问作者Aaditya Damani

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 14:54:04