如何将SpaCy模型en_core_web_trf打包进pex文件并正常调用？

核心原因 #

PEX打包的环境是独立隔离的，普通方式下载或解压的模型无法被SpaCy识别——模型需要作为可导入的Python包存在于PEX的依赖路径中，而非单纯放在同目录。

正确解决方案 #

方案1：打包时直接包含模型包（推荐）

这是最可靠的方式，将模型作为依赖一起打包进PEX：

1. 下载对应版本的模型whl包（比如en_core_web_trf-3.5.0-py3-none-any.whl）
2. 执行打包命令，将SpaCy和模型一起打包：

   pex spacy ./en_core_web_trf-3.5.0-py3-none-any.whl -o spacy.pex
   

   如果模型版本在PyPI可直接获取，也可以简化为：

   pex spacy en_core_web_trf==3.5.0 -o spacy.pex
   

方案2：给现有PEX添加模型路径

如果已经有打包好的spacy.pex，可以通过环境变量指定模型的有效路径：

1. 确保模型文件夹结构正确：解压模型压缩包后，en_core_web_trf文件夹内必须直接包含config.cfg、meta.json，以及vocab、tokenizer等子目录（不能有嵌套的同名子文件夹）
2. 运行脚本时通过PEX_PATH指定模型所在目录：

   PEX_PATH=/path/to/your/model_dir python your_script.py
   

   替换/path/to/your/model_dir为包含en_core_web_trf文件夹的上级目录，或者直接指向en_core_web_trf文件夹本身。

验证方法 #

执行以下命令测试模型是否能正常加载：

./spacy.pex -c "import spacy; nlp = spacy.load('en_core_web_trf'); print(nlp('Hello world'))"

为什么之前的方法无效 #

• 直接解压模型到PEX同目录：SpaCy无法识别这种松散的文件夹结构，模型需要被注册为Python包或存在于Python的sys.path中
• 通过./spacy.pex -m spacy download下载：PEX运行时的临时环境不会持久化下载的模型，退出后文件会被清理，下次运行无法找到

内容的提问来源于stack exchange，提问作者Cagrosso