Spacy-Transformers如何加载GPT-2？对应spacy.load可用包是什么？

回答 #

spacy官方没有预置可直接通过spacy.load()加载的GPT-2预训练管道包，你看到的文档说明是指spacy-transformers组件支持接入GPT-2类的预训练模型，需要自己手动配置封装后使用，具体实现步骤如下：

• 首先安装依赖库：pip install spacy spacy-transformers transformers
• 新建spaCy配置文件，在transformer组件的配置项中指定模型为GPT-2的预训练权重，示例配置核心字段参考：

[components.transformer]
factory = "transformer"
model.name = "openai/gpt2"
tokenizer_config = {"padding_side": "left"}

• 用spacy init fill-config base_config.cfg config.cfg补全配置后，执行spacy train config.cfg --output ./gpt2_spacy_pipeline完成初始化（如果不需要微调只加载预训练权重，也可以直接在代码中加载配置生成nlp对象）
• 打包生成的管道包后，就可以直接用spacy.load("./gpt2_spacy_pipeline/model-best")加载使用了

补充说明：官方之所以没有推出预置的GPT-2管道，是因为spaCy的官方预置管道主要面向通用词性标注、实体识别、依存句法分析等双向理解任务，BERT类的双向掩码语言模型适配性更高，GPT-2这类自回归模型更适合文本生成类任务，需要用户根据自身需求自定义配置接入。

内容的提问来源于stack exchange，提问作者VikR