如何将已有的huggingface-transformers模型应用到spacy中？

你的方案完全可行，无需从头重训Transformers底座，通过spacy-transformers库可以直接加载任意公开/自己训练的HF格式Transformers模型，适配到spaCy的流水线体系中。

基础实现步骤 #

1. 安装依赖 #

首先安装对应库：

pip install spacy spacy-transformers

2. 直接加载HF模型到spaCy流水线 #

不需要手动适配模型结构，通过组件配置即可自动完成对接：

import spacy

# 初始化对应语言的空白spaCy流水线，中文替换为"zh"
nlp = spacy.blank("en")
# 添加transformer组件，指定要加载的HF模型名/本地模型路径
nlp.add_pipe(
    "transformer",
    config={
        "model": {
            "name": "bert-base-uncased" # 这里可以填你自己训练好的HF模型本地路径
        }
    }
)
# 自动加载预训练权重，无需额外训练
nlp.initialize()

3. 正常使用 #

加载完成后就可以像普通spaCy模型一样调用：

doc = nlp("This is a test sentence.")
# 提取Transformers模型输出
transformer_output = doc._.trf_data

常见问题说明 #

怎么打包成可直接spacy.load()的模型文件 #

完成流水线配置后，直接调用序列化方法即可：

# 保存模型到本地
nlp.to_disk("./my_spacy_bert_model")
# 后续直接加载
import spacy
nlp = spacy.load("./my_spacy_bert_model")

官方spaCy预训练模型的构建逻辑 #

类似en_core_web_trf这类官方预训练模型，本质就是先按上述方式挂载HF的Transformers底座，再在对应下游任务的标注数据集上微调任务头部（比如NER、词性标注头），最后打包成spaCy的模型分发格式，完全不需要从头训练Transformers底座。

下游任务扩展 #

如果需要在加载的HF模型基础上增加spaCy的下游任务组件（比如NER、文本分类），直接按顺序添加对应组件即可，组件会自动读取Transformers的输出作为特征，训练时可以选择冻结Transformers底座只训任务头，也可以选择全量微调。

内容的提问来源于stack exchange，提问作者rdemorais