Python中multiprocessing Process与装饰器结合的问题求助

问题根源 #

1. Pickle序列化错误：装饰器替换了类的原始方法，导致主进程中的函数对象与子进程中重新加载的类方法对象不一致，pickler无法识别序列化。
2. 无限进程循环：通过函数名调用时，子进程执行的是被装饰后的方法，会再次触发多进程逻辑，往复创建新进程。

解决方案 #

核心思路：仅在主进程中触发多进程逻辑，子进程直接执行原始函数，同时避免直接序列化函数对象，绕开pickle的限制。

方案一：基于进程判断的装饰器调整

利用current_process()判断当前是否为主进程，子进程直接执行原函数，不触发多进程逻辑：

import functools
from multiprocessing import Pipe, get_context, current_process

def target(conn, fn, *args, **kwargs):
    conn.send(fn(*args, **kwargs))
    conn.close()

def decor(fn):
    @functools.wraps(fn)
    def wrapper(*args, **kwargs):
        # 仅主进程创建子进程执行任务
        if current_process().name == 'MainProcess':
            ctx = get_context("fork")
            p_conn, c_conn = Pipe()
            p = ctx.Process(target=target, args=(c_conn, fn, *args), kwargs=kwargs)
            p.start()
            ret = p_conn.recv()
            p.join()
            return ret
        else:
            # 子进程直接执行原函数，跳过多进程逻辑
            return fn(*args, **kwargs)

    return wrapper

class MyClass:
    @decor
    def printer(self, string=""):
        print(string)

MyClass().printer("foo")

方案二：传递实例与方法名（通用适配所有进程上下文）

通过传递实例和方法名，在子进程中获取被装饰器包裹的原始函数，彻底避免函数对象序列化问题：

import functools
from multiprocessing import Pipe, get_context, current_process

def target(conn, instance, method_name, *args, **kwargs):
    # 从实例中获取被装饰器包裹的原始函数
    original_fn = getattr(instance, method_name).__wrapped__
    conn.send(original_fn(*args, **kwargs))
    conn.close()

def decor(fn):
    @functools.wraps(fn)
    def wrapper(self, *args, **kwargs):
        if current_process().name == 'MainProcess':
            ctx = get_context("fork")
            p_conn, c_conn = Pipe()
            # 传递实例和方法名，而非函数对象
            p = ctx.Process(target=target, args=(c_conn, self, fn.__name__), kwargs=kwargs)
            p.start()
            ret = p_conn.recv()
            p.join()
            return ret
        else:
            return fn(*args, **kwargs)

    return wrapper

class MyClass:
    @decor
    def printer(self, string=""):
        print(string)

MyClass().printer("foo")

关键说明 #

• 打破无限循环：通过进程判断，子进程中直接执行原始函数，不会再次触发装饰器的多进程逻辑。
• 解决Pickle问题：方案一中fork上下文继承父进程内存，原函数可直接访问；方案二中传递实例和方法名，绕开了函数对象序列化的不一致问题，适配spawn等所有进程上下文。

内容的提问来源于stack exchange，提问作者renatodamas