跨Python版本与系统加载pickle文件时出现__randomstate_ctor()参数错误

问题背景 #

为避免重复运行耗时的模型训练代码，使用pickle序列化保存模型对象，序列化与反序列化代码如下：

def export_model(m, fname='model.pkl'):
    f = open(fname, 'wb')
    pickle.dump(m, f)
    f.close()


def import_model(fname):
    file = open(fname, 'rb')
    m = pickle.load(file)
    return m

该代码在MacBook上运行正常，但将Windows机器序列化生成的.pkl文件拿到Mac上加载时，触发如下错误：

TypeError: __randomstate_ctor() takes from 0 to 1 positional arguments but 2 were given

经检查，两台机器的pickle格式版本均为4.0：

print(pickle.format_version)
>>> 4.0

两台机器仅Python版本不同（Windows为3.11.3，Mac为3.8.8），代码完全一致，疑问：该问题是版本兼容还是跨平台问题？

问题原因 #

这是Python版本兼容问题，和跨平台无关。

虽然pickle的格式版本统一为4.0，但不同Python版本对部分底层对象（比如numpy的RandomState这类依赖语言底层实现的对象）的序列化逻辑存在差异。Python 3.11对__randomstate_ctor的参数处理做了调整，序列化时写入了新版本的参数格式，而Python 3.8的旧版本无法识别这种新格式，导致加载时出现参数数量不匹配的报错。

解决方案 #

• 统一Python版本：在序列化和反序列化的机器上使用相同的Python版本（比如均使用3.8.x系列或3.11.x系列），从根源上避免版本差异带来的兼容问题。
• 改用更兼容的序列化方式：如果无法统一Python版本，可以选择joblib（针对机器学习模型的序列化兼容性更好）替代pickle，或者手动导出模型的参数为普通字典结构后再保存加载，绕过直接序列化复杂模型对象的版本兼容问题。

内容的提问来源于stack exchange，提问作者caterp1llar