SpaCy v3训练自定义textcat时迭代不更新、损失值不变如何解决？

SpaCy v3 textcat损失不更新排查方案 #

• 训练数据格式不符合要求
  SpaCy v3的textcat组件要求训练数据每一项的结构为(文本内容, {"cats": {"标签A": 0/1, "标签B": 0/1, ...}})，如果你的标注数据没有嵌套在cats键下，或者标签值不是0/1的二值标注，模型不会读取到正确的监督信号，损失自然不会更新。你可以先打印单条TRAIN_DATA检查结构是否匹配。
• 分类模式不匹配
  如果你的任务是单标签互斥分类，需要在textcat的配置里添加"exclusive_classes": True，默认该参数为False适配多标签分类，模式不匹配会导致损失计算逻辑错误，无法正常更新。
• textcat组件未关联Transformer输出
  你加载的是en_core_web_trf Transformer预训练管道，但默认新增的textcat组件使用的是独立的词袋特征提取器，不会调用Transformer的输出向量，特征拟合能力极弱，很容易出现损失不动的情况。你需要修改textcat的配置，指定它使用Transformer的输出作为特征：

config = {
    "threshold": 0.5,
    "exclusive_classes": True, # 单标签分类保留此行，多标签可删除
    "model": {
        "@architectures": "spacy.TextCatEnsemble.v2",
        "tok2vec": {
            "@layers": "spacy.Tok2VecListener.v1",
            "upstream": "transformer",
            "width": 768
        }
    }
}

• 预训练组件未冻结导致梯度异常
  如果你不需要微调Transformer组件，需要在训练前冻结该组件，避免梯度回传异常影响新增的textcat组件更新：

# 仅启用textcat的训练状态，冻结其他管道组件
nlp.select_pipes(enable=["textcat"])

如果需要微调Transformer，则要在初始化前调整优化器学习率，避免预训练权重被破坏。

• 训练调用逻辑错误
  SpaCy v3推荐使用nlp.update而非单个pipe的update方法，单个pipe调用时不会自动处理上游组件的特征传递，你可以把训练循环里的更新逻辑修改为：

for batch in minibatch(TRAIN_DATA, size=16):
    nlp.update(batch, sgd=optimizer, losses=losses)

内容的提问来源于stack exchange，提问作者alit8