自定义partial函数为何导致multiprocessing.Pool.map挂起？

你的自定义SecPartialF在multiprocessing.Pool.map中挂起无输出的核心原因是对象无法被正确序列化（pickle）以传递给子进程。

为什么会这样？ #

multiprocessing的Pool机制需要把待执行的任务（这里是SecPartialF的实例）序列化成字节流，传递给子进程后再反序列化执行。你的SecPartialF实例持有对函数f的引用，但在IPython交互式环境中定义的函数f不满足pickle的序列化要求：

• Pickle序列化函数时，依赖的是函数的模块路径+函数名，子进程需要能通过这个路径重新导入该函数。
• 但交互式环境（IPython的In[]会话）中的函数属于临时的__main__模块，子进程启动时无法从自己的__main__中找到对应的f，导致序列化/反序列化失败，最终子进程无法执行任务，表现为程序挂起无输出。

而Python内置的functools.partial能正常工作，是因为它是标准库实现的类，已经被pickle特殊处理过，可以正确处理函数引用的序列化逻辑。

解决方案 #

方案1：将代码放到独立模块中（最推荐）

把SecPartialF类和函数f保存到一个单独的.py文件中，比如my_utils.py：

# my_utils.py
class SecPartialF(object):
    def __init__(self, func, arg1):
        self.func, self.arg1 = func, arg1
    def __call__(self, arg2):
        return self.func(self.arg1, arg2)

def f(x, y):
    print(x, y)
    return x + y

然后在交互式环境中导入并使用：

from my_utils import SecPartialF, f
from multiprocessing import Pool

with Pool(4) as pool:
    result = list(pool.map(SecPartialF(f, 10), range(10)))
print(result)

这样函数f和SecPartialF都属于可导入的模块，子进程可以正确加载它们，pickle序列化也能正常完成。

方案2：让SecPartialF支持自定义Pickle逻辑

如果一定要在交互式环境中使用，可以给SecPartialF添加__getstate__和__setstate__方法，手动控制序列化过程（不过这种方式不如方案1可靠）：

class SecPartialF(object):
    def __init__(self, func, arg1):
        self.func, self.arg1 = func, arg1
    def __call__(self, arg2):
        return self.func(self.arg1, arg2)
    def __getstate__(self):
        # 返回需要序列化的状态，这里要确保函数能被正确传递
        return (self.func.__name__, self.arg1)
    def __setstate__(self, state):
        func_name, arg1 = state
        # 反序列化时从全局命名空间获取函数
        self.func = globals()[func_name]
        self.arg1 = arg1

注意这种方式仅当函数f在子进程的全局命名空间中存在时才有效，在复杂场景下容易出问题。

额外提示 #

交互式环境（比如IPython、Jupyter Notebook）本身和multiprocessing的兼容性就比较差，因为很多临时定义的对象无法被正确序列化。如果要测试多进程代码，优先把代码写到独立模块中执行，能避免很多这类序列化问题。

内容的提问来源于stack exchange，提问作者Eastsun