SpaCy 3训练领域葡萄牙语PoS标注模型后lemma与pos_返回空求助

问题1：流程隐含错误及空值返回解决方案 #

核心错误原因 #

• 最常见的问题是你生成base_config.cfg时未明确指定要训练*词性标注器（tagger）和词形还原器（lemmatizer）*两个组件，默认生成的配置不会自动加入这两个模块，训练完成的模型管道中没有对应处理逻辑，自然返回空值。
• 次常见问题是conllu转.spacy格式时标注丢失：转换过程未正确将UD格式的POS、lemma字段映射到SpaCy的内置属性，导致训练数据本身没有有效标注，模型无法学习对应能力。
• 你用同一数据集同时作为训练集和验证集的操作虽然不直接导致空值，但会让训练过程的校验逻辑失效，无法及时发现组件未训练的问题。

解决步骤 #

1. 重新生成base_config.cfg，明确指定语言为葡萄牙语（pt），需要训练的组件为tagger,lemmatizer，确保配置中两个组件被加入到训练任务列表。
2. 验证转换后的数据集有效性，运行以下代码检查标注是否正常：

import spacy
from spacy.tokens import DocBin
db = DocBin().from_disk("PetroTok-UDPIPE.spacy")
nlp = spacy.blank("pt")
for doc in db.get_docs(nlp.vocab):
    print(doc[0].pos_, doc[0].lemma_)
    break

如果输出为空，说明转换过程丢失标注，需要重新执行转换命令，添加-l pt参数指定语言：

python -m spacy convert -l pt PetroTok-UDPIPE.conllu .

3. 生成完整配置后打开config.cfg，检查[components]下存在tagger和lemmatizer的配置项，同时[training]的components列表包含这两个组件。
4. 正式训练前拆分数据集为训练集和验证集，避免过拟合。

问题2：训练得到的模型类型 #

你当前流程训练得到的是仅基于PetroTok-UDPIPE.conllu数据集训练的全新空白模型，完全没有用到官方预训练葡萄牙语SpaCy模型的权重和能力。
如果需要实现领域增量训练，你需要在base_config.cfg中为tagger、lemmatizer等组件添加source参数，指向官方预训练的葡萄牙语模型，同时开启组件的增量训练配置，才会在原有通用模型的基础上融合领域语料的标注知识。 #

内容的提问来源于stack exchange，提问作者user140259