如何在spaCy 3.0中集成Hugging Face的distilbert模型并通过spacy.load加载

这个需求完全可以实现，spaCy 3.x版本官方提供了spacy-transformers扩展，可直接对接Hugging Face上的各类Transformer模型，无需自行编写旧版的转换代码。

• 安装依赖库
  首先安装对应版本的工具包：
  pip install spacy>=3.0.0 spacy-transformers
• 生成并补全模型配置文件
  首先生成包含Transformer组件的基础配置，如果你后续需要叠加词性标注、命名实体识别等下游任务组件，可在-p参数后追加对应组件名，比如-p transformer,ner：
  spacy init config -p transformer distilbert_base.cfg --lang en
  接下来补全配置的默认参数：
  spacy fill-config distilbert_base.cfg distilbert_filled.cfg
• 修改配置指向DistilBERT权重
  打开生成的distilbert_filled.cfg文件，找到如下配置块，修改模型地址为目标模型：

[components.transformer.model]
@architectures = "spacy-transformers.TransformerModel.v3"
name = "distilbert-base-uncased" # 将原本的默认模型地址改为这个值
tokenizer_config = {"use_fast": true}

• 组装生成可直接加载的spaCy模型包
  执行如下命令生成模型包，其中./path_to_distilbert就是你后续加载的路径，可自行修改：
  spacy assemble distilbert_filled.cfg ./path_to_distilbert
• 测试模型加载
  按照你期望的方式直接加载即可：

import spacy
nlp = spacy.load('./path_to_distilbert')

# 测试调用，获取DistilBERT输出特征
doc = nlp("Hello world from spaCy!")
print(doc._.trf_data)

如果你需要微调该模型适配自定义下游任务，只需在配置文件中添加对应任务组件，按照spaCy标准训练流程操作即可。

内容的提问来源于stack exchange，提问作者EnesZ