为何Python multiprocessing模块可序列化调用匿名函数的函数？

这个问题的核心在于Python的pickle序列化规则和macOS下multiprocessing默认的fork启动机制的结合，咱们一步步拆解：

1. 直接传递匿名组合函数失败的原因 #

multiprocessing默认用pickle序列化要传递给子进程的对象，而pickle序列化函数的逻辑很明确：

• 不会序列化函数的代码或闭包环境
• 只会序列化函数的名称和它所在的模块路径，然后在子进程中重新导入该模块并获取同名函数

但你通过compose返回的operation是一个匿名lambda函数：

• 匿名函数没有正式的函数名（它的__name__属性是<lambda>）
• 它不属于任何模块的顶层命名空间，子进程根本无法通过“模块+名称”的方式重新获取它

所以pickle无法完成序列化，直接触发AttributeError。

2. 普通函数包装后能运行的原因 #

当你用wrapped_operation这个普通顶层函数包装时：

• pickle可以轻松序列化它：它有明确的名称wrapped_operation，且属于当前模块的顶层
• 而macOS下multiprocessing默认用fork机制创建子进程：fork会直接复制父进程的整个内存空间（包括所有全局变量、闭包中的对象）

这意味着子进程启动时，operation这个匿名函数对象已经存在于子进程的内存中了。子进程执行wrapped_operation时，直接调用的是自身内存里已经复制好的operation，根本不需要pickle去序列化operation——因为pickle只处理了wrapped_operation的标识符，没管它引用的变量。

3. 你的理解误区 #

你以为序列化wrapped_operation时需要递归序列化它引用的operation，但实际上：
pickle序列化函数时，只会记录函数的“身份信息”（名称+模块），不会处理函数内部引用的所有对象。fork机制帮你绕过了序列化operation的步骤，因为子进程直接继承了父进程的内存。

4. 这种包装方式的潜在问题 #

这种写法是平台依赖的：

• 如果在Windows系统上运行（multiprocessing默认用spawn模式），子进程会重新执行整个脚本，而不是复制父进程内存。这时候子进程初始化时，如果operation是在if __name__ == '__main__'块中定义的，子进程不会执行这段代码，wrapped_operation调用operation时就会触发NameError。
• 即使在fork平台上，如果父进程在fork后修改了operation，子进程的副本不会同步，可能导致意外行为。

如果要写跨平台的代码，建议避免用匿名函数作为多进程传递的目标，改成用具名函数来组合：

import multiprocessing
import functools

def compose(*functions):
    def composed(x):
        result = x
        for func in reversed(functions):
            result = func(result)
        return result
    return composed

def twox(x):
    return 2*x

funcs = [twox, twox, twox]
operation = compose(*funcs)
nums = range(10)

if __name__ == '__main__':
    p = multiprocessing.Pool(processes=3)
    print(p.map(operation, nums))  # 跨平台正常运行

内容的提问来源于stack exchange，提问作者SmearingMap