使用spaCy de_dep_news_trf管道时德语NER无识别结果问题求助

我在项目中使用spaCy的德语预训练管道de_dep_news_trf时遇到了命名实体识别（NER）问题。处理句子"Berlin ist die Hauptstadt von Deutschland. Angela Merkel war die Bundeskanzlerin."时，未检测到任何实体，但切换到de_core_news_lg管道却能正常识别出LOC和PER类型的实体。

我的环境配置步骤（Windows PyCharm社区版，Python 3.12）：

python.exe -m pip install --upgrade pip
pip install -U pip setuptools wheel
pip install -U spacy
python -m spacy download de_dep_news_trf --timeout 600
pip install spacy[transformers]

代码片段：

import spacy


def process_text_with_spacy(text_to_process):
    doc = nlp(text_to_process)
    data = {
        "text": text_to_process,
        "sentences": []
    }
    for sent in doc.sents:
        process_sentence_data = {
            "sentence": sent.text,
            "entities": []
        }
        for ent in sent.ents:
            process_sentence_data["entities"].append({
                "text": ent.text,
                "start": ent.start_char,
                "end": ent.end_char,
                "label": ent.label_
            })
        data["sentences"].append(process_sentence_data)
    return data


nlp = spacy.load('de_dep_news_trf')

sample_text = "Berlin ist die Hauptstadt von Deutschland. Angela Merkel war die Bundeskanzlerin."

processed_data = process_text_with_spacy(sample_text)

print("Text:", sample_text)
for sentence_data in processed_data["sentences"]:
    print("Sentence:", sentence_data["sentence"])
    print("Entities:", sentence_data["entities"])

运行输出：

Text: Berlin ist die Hauptstadt von Deutschland. Angela Merkel war die Bundeskanzlerin.
Sentence: Berlin ist die Hauptstadt von Deutschland.
Entities: []
Sentence: Angela Merkel war die Bundeskanzlerin.
Entities: []

我是根据SpaCy官网的准确率选择de_dep_news_trf的，想知道两者结果不同的原因，是否有特定设置导致这个差异？

原因与解决方案 #

• 管道定位差异：de_dep_news_trf是专门针对依存句法分析优化的Transformer管道，训练目标仅聚焦句法结构解析，默认不包含NER组件；而de_core_news_lg是通用多任务管道，集成了NER、词性标注、句法分析等全套NLP功能，因此能正常识别实体。
• 组件验证方法：可以打印管道组件列表确认这点：

  nlp = spacy.load('de_dep_news_trf')
  print(nlp.pipe_names)
  

  输出会显示仅包含transformer、tagger、parser、attribute_ruler、lemmatizer，没有ner组件。
• 解决办法：
  1. 若需保留de_dep_news_trf的句法分析优势，同时添加NER功能，可从其他含NER的德语管道（如de_core_news_lg）提取组件并添加：

     nlp_dep = spacy.load('de_dep_news_trf')
     nlp_core = spacy.load('de_core_news_lg')
     nlp_dep.add_pipe("ner", source=nlp_core)
     

     之后用nlp_dep处理文本，即可同时获得准确的句法分析和NER结果。
  2. 若无需极致句法分析性能，直接使用de_core_news_trf——这是集成了NER功能的通用Transformer多任务管道，整体准确率同样出色。

内容的提问来源于stack exchange，提问作者Mehrer Compression GmbH - IT