基于multiprocessing的并行化装饰器为何抛出Pickle错误？

错误原因 #

你遇到的PicklingError本质是Windows环境下multiprocessing的机制导致的：

• Windows用spawn方式启动子进程，子进程会重新导入主模块。此时__main__.square指向的是被装饰后的wrapper函数。
• 你在装饰器里传递给子进程的是原未被装饰的func对象，它的__name__仍是square。pickle序列化函数时依赖「模块+函数名」的引用关系，子进程尝试查找__main__.square，却发现这个对象是wrapper，和传递的原func不是同一个，因此报错。

修复后的装饰器代码 #

下面的装饰器会自动区分「批量可迭代输入」和「单个元素输入」，避免pickle冲突，同时支持额外的位置参数和关键字参数：

from functools import wraps
import multiprocessing

def Parallelizer(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        # 检查第一个参数是否为可迭代对象（排除字符串/字节串这类特殊可迭代类型）
        if args and hasattr(args[0], '__iter__') and not isinstance(args[0], (str, bytes)):
            with multiprocessing.Pool(processes=4) as pool:
                # 构造每个元素的参数元组，传递给子进程的wrapper
                tasks = [(item,) + args[1:] for item in args[0]]
                # 用starmap分发任务，子进程的wrapper会处理单个元素
                result = pool.starmap(wrapper, tasks)
            return result
        else:
            # 处理单个元素，直接执行原函数
            return func(*args, **kwargs)
    return wrapper

测试代码规范 #

Windows下使用multiprocessing必须把执行代码放在if __name__ == '__main__':块中，避免子进程重复初始化：

@Parallelizer
def square(x):
    return x ** 2

if __name__ == '__main__':
    numbers = range(10)
    serial_output = square(numbers)
    print(serial_output)  # 输出 [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

简化版本（仅支持单参数函数） #

如果你的函数只需要单个输入参数，可以用更简洁的实现：

from functools import wraps
import multiprocessing

def Parallelizer(func):
    @wraps(func)
    def wrapper(iterable):
        with multiprocessing.Pool(processes=4) as pool:
            return pool.map(func, iterable)
    return wrapper

内容的提问来源于stack exchange，提问作者Brewmeister