SpaCy Transformer NER训练问题：Transformer损失为0未训练

关键排查点及修复方案 #

1. NER组件未正确依赖Transformer输出 #

你的NER模型使用的是spacy.TransitionBasedParser.v2架构，该架构默认读取tok2vec的输出，而非Transformer的嵌入。这会导致Transformer没有梯度回传，完全不参与训练。

修改NER组件的模型配置，改用TransformerListener架构来对接Transformer的输出：

[components.ner.model]
@architectures = "spacy-transformers.TransformerListener.v1"
grad_factor = 1.0
model = {
    "@architectures": "spacy.TransitionBasedParser.v2",
    "state_type": "ner",
    "extra_state_tokens": false,
    "hidden_width": 64,
    "maxout_pieces": 2,
    "use_upper": true,
    "nO": null
}

2. Transformer输出未被存储到Doc对象 #

当前配置中set_extra_annotations使用的是null_annotation_setter.v1，不会将Transformer的输出存入Doc的._.trf_data属性，后续NER组件无法读取这些嵌入数据。

替换为标准的注解设置器：

[components.transformer.set_extra_annotations]
@annotation_setters = "spacy-transformers.set_extra_annotations.v1"

3. 学习率设置不合理 #

预训练Transformer模型需要远小于常规组件的学习率，当前全局设置的0.001过大，容易导致梯度消失或模型不更新。

改用Transformer专用的AdamW优化器，并为不同组件分配差异化学习率：

[training.optimizer]
@optimizers = "spacy-transformers.AdamW.v1"
beta1 = 0.9
beta2 = 0.999
L2_is_weight_decay = true
L2 = 0.01
grad_clip = 1.0
use_averages = false
eps = 1e-8
learn_rate = 2e-5

[training.component_learn_rates]
ner = 0.001
transformer = 2e-5

4. 验证数据处理正确性 #

尽管你已做文本分段，仍建议用SpaCy自带工具检查数据兼容性：

spacy debug data config.cfg

该命令会自动检测数据长度、格式是否符合Transformer的要求，排查潜在的数据截断或格式错误。

5. 显式确认Transformer可训练 #

虽然配置中frozen_components为空，仍可显式声明Transformer组件不冻结，避免初始化时的隐式设置：

[initialize.components.transformer]
frozen = false

核心逻辑说明 #

Transformer组件损失为0的本质是没有梯度流入该组件，原因是NER组件未与其建立依赖关系，导致反向传播时梯度无法传递到Transformer层。通过修改NER架构对接Transformer输出、修正注解存储方式，再配合合理的学习率配置，即可让Transformer正常参与训练。

内容的提问来源于stack exchange，提问作者Lex Podgorny