multiprocessing.Queue作为multiprocessing.Process参数时如何序列化？

我们先看两段代码的差异：

用Pool运行失败的代码 #

from multiprocessing import Pool, Queue

def worker(q):
    print(q.get())

with Pool(1) as pool:
    q = Queue()
    q.put(7)
    pool.apply(worker, args=(q,))

运行后抛出错误：

RuntimeError: Queue objects should only be shared between processes through inheritance

用Process运行成功的代码 #

from multiprocessing import Process, Queue

def worker(q):
    print(q.get())

q = Queue()
q.put(7)
p = Process(target=worker, args=(q,))
p.start()
p.join()

这段代码能正常输出7。

核心原因：参数传递的底层逻辑不同 #

• Process的参数传递：
  若系统使用fork模式（Linux/macOS默认），子进程会直接继承父进程的内存空间，包括Queue实例，完全不需要序列化操作。
  就算是spawn模式（Windows默认），Process处理Queue参数时会走特殊逻辑：它不会序列化整个Queue对象，而是传递底层通信管道的句柄，让子进程重新构建出可用的Queue实例，绕开了普通序列化的限制。

• Pool的参数传递：
  进程池会维护一个内部任务队列（基于SimpleQueue实现），所有任务参数都必须先序列化才能存入这个队列。但SimpleQueue使用的ForkingPickler不支持序列化Queue对象——因为Queue依赖进程间通信的管道，直接序列化会破坏其内部的同步状态，因此触发了报错。

总结来说，Process是直接为单个进程传递参数或让子进程继承资源，而Pool必须通过中间队列中转任务，强制要求参数可序列化，这就撞上了Queue不能被序列化的限制。

内容的提问来源于stack exchange，提问作者Booboo