加载Spacy导出Pickle文件遇WindowsPath实例化错误求助

根本原因 #

你在Windows环境的Jupyter中导出pickle时，spaCy模型内部的路径被序列化为WindowsPath对象，而生产环境（大概率是Linux/macOS）无法实例化这个Windows专属的路径类，修改路径符号无法解决问题——因为核心矛盾是序列化的对象类型不兼容，而非路径字符串格式。

可行解决办法 #

方案1：使用spaCy官方推荐的模型保存/加载方式（最稳妥） #

spaCy官方不建议直接pickle整个nlp对象，推荐用磁盘目录存储的方式，完全规避路径对象序列化问题：

• 导出模型（Windows环境）：

  import spacy
  nlp = spacy.load("en_core_web_md")
  nlp.to_disk("./saved_model")  # 保存到本地目录
  

• 生产环境加载：

  import spacy
  nlp = spacy.load("./saved_model")  # 从目录加载
  

方案2：导出pickle前将路径对象转为字符串 #

如果必须使用pickle，在导出时手动把模型内的所有Path对象转为字符串：

import spacy
import pickle
from pathlib import Path

def convert_paths_to_str(obj):
    if isinstance(obj, Path):
        return str(obj)
    elif isinstance(obj, dict):
        return {k: convert_paths_to_str(v) for k, v in obj.items()}
    elif isinstance(obj, list):
        return [convert_paths_to_str(item) for item in obj]
    elif hasattr(obj, "__dict__"):
        for k, v in obj.__dict__.items():
            obj.__dict__[k] = convert_paths_to_str(v)
        return obj
    else:
        return obj

# 加载并转换模型后再序列化
nlp = spacy.load("en_core_web_md")
nlp_converted = convert_paths_to_str(nlp)
with open("nlp_model.pkl", "wb") as f:
    pickle.dump(nlp_converted, f)

生产环境加载时，spaCy会自动将字符串路径适配为当前系统的路径对象。

方案3：自定义Unpickler替换WindowsPath（无法重新导出时用） #

如果无法重新生成pickle文件，可在生产环境加载时替换路径类：

import pickle
from pathlib import PosixPath  # Linux/macOS环境用PosixPath

class CustomUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        if module == "pathlib" and name == "WindowsPath":
            return PosixPath  # 替换为当前系统支持的路径类
        return super().find_class(module, name)

# 加载处理后的pickle
with open("nlp_model.pkl", "rb") as f:
    nlp = CustomUnpickler(f).load()

内容的提问来源于stack exchange，提问作者Nabih Bawazir