SpaCy 3.2.1：如何添加新实体且不丢失默认实体

嘿，这个问题我之前也踩过坑——这是典型的灾难性遗忘，说白了就是模型学新东西的时候把旧知识给丢了，核心原因是你只给它喂了新实体的训练数据，没让它“复习”原来的实体内容。下面给你几个具体的解决办法：

1. 给模型补充旧实体的训练样本 #

你得把原有模型能识别的实体样本（比如PERSON、ORG、GPE这些en_core_web_lg自带的实体）和你的新实体数据混在一起训练：

• 可以手动收集一些包含旧实体的文本并标注；或者偷懒一点，用原始的en_core_web_lg模型批量处理一批无标注文本，自动生成带旧实体标签的训练样本，再和你的新数据合并到TRAIN_DATA里。这样训练时模型一边学新实体，一边巩固旧知识。

2. 调整优化器与dropout参数 #

你现在用nlp.create_optimizer()会重新初始化优化器，相当于让NER组件从头学起，很容易把旧知识覆盖掉。换成增量训练的优化器，同时降低dropout减少遗忘：

# 替换原有优化器初始化，保留预训练模型的优化状态
optimizer = nlp.resume_training()
# 设置更小的学习率，避免过度更新旧参数
optimizer.learn_rate = 1e-5

# 训练时降低dropout值，从0.8调到0.3左右
nlp.update([example], sgd=optimizer, losses=losses, drop=0.3)

3. 修正模型加载的初始步骤 #

看你的代码第一行是nlp=spacy.load(output_dir)，如果output_dir一开始不是预训练的en_core_web_lg模型，那你相当于从错误的起点开始训练了。应该先加载官方的预训练模型：

# 正确加载en_core_web_lg预训练模型
nlp = spacy.load("en_core_web_lg")

4. 训练中同步验证旧实体性能 #

每次迭代后，不仅测试新实体的识别效果，也要用包含旧实体的测试数据验证，确保原有实体的识别准确率没有大幅下降。比如在训练循环里加一段简单的验证逻辑：

# 每2次迭代验证一次旧实体
if (iteration + 1) % 2 == 0:
    print("\n验证原有实体识别效果：")
    for text, _ in OLD_ENTITY_TEST_DATA:
        doc = nlp(text)
        print("识别结果：", [(ent.text, ent.label_) for ent in doc.ents if ent.label_ in ["PERSON", "ORG", "GPE"]])

按照这些方法调整后，模型应该就能同时准确识别新旧实体了。

内容的提问来源于stack exchange，提问作者Paudy XÆA-12