如何仅通过代码重构使用Python标准库pickle序列化闭包

标准库pickle序列化可调用对象时，默认只会通过「模块顶层命名空间的可导入限定名」定位目标对象，定义在函数内部的局部闭包不属于顶层命名空间，反序列化阶段找不到对应定义，就会抛出AttributeError: Can't pickle local object 'function.<locals>.closure'错误。

不需要依赖第三方序列化库，也不需要打猴子补丁，只要把局部闭包重构为模块顶层定义的带__call__方法的类实例，就能完全兼容标准pickle，调用体验和原闭包没有区别。

最简重构示例（对应基础测试代码） #

import pickle

# 把原闭包的执行逻辑移到模块顶层的可调用类
class _Closure:
    def __call__(self):
        pass

def function():
    return _Closure()

# 序列化、反序列化、调用全流程无报错
serialized_data = pickle.dumps(function())
restored_closure = pickle.loads(serialized_data)
restored_closure()

带上下文捕获的闭包适配方式 #

如果原闭包需要捕获外层函数的变量，只要把需要捕获的变量通过类构造函数传入、存为实例属性即可，行为和原生闭包完全一致，参考示例：

import pickle

# 原无法序列化的闭包写法
# def make_adder(add_num):
#     def adder(x):
#         return x + add_num
#     return adder

# 重构后可正常序列化的写法
class _Adder:
    def __init__(self, add_num):
        self.add_num = add_num
    
    def __call__(self, x):
        return x + self.add_num

def make_adder(add_num):
    return _Adder(add_num)

# 功能验证
adder = make_adder(5)
print(adder(3))  # 输出8，和原闭包行为一致
s = pickle.dumps(adder)
restored_adder = pickle.loads(s)
print(restored_adder(3)) # 同样输出8，序列化反序列化流程正常

方案原理 #

• 实现闭包逻辑的类定义在模块顶层，pickle可以通过限定名正常定位到类定义，满足序列化的基本要求
• 原闭包捕获的所有上下文变量都存在实例属性中，会被pickle作为实例状态正常序列化，不需要额外定制序列化逻辑
• 类实例实现__call__方法后，调用方式和普通函数/闭包完全一致，上层业务代码不需要做任何适配修改

内容的提问来源于stack exchange，提问作者finefoot