DOCCANO未标注样本用于SpaCy模型训练的价值及相关实践咨询

1. 空标签样本的训练价值 #

这类标签为空的样本属于合法负样本，纳入训练有非常明确的价值：

• 可以帮助模型学习「哪些文本不属于目标角色实体」，大幅降低预测时的假阳性概率，避免模型把霍格沃茨、魁地奇这类和IP相关但不属于角色的专有名词误判为角色名
• 针对你需要识别各类变体角色名的场景，负样本可以强化模型对角色实体边界、语义特征的判断能力，避免把符合部分特征的非角色文本识别为目标实体

2. 不平衡判定与处理方案 #

首先你提到的SMOTE、常规过采样方案不适用于当前序列标注场景：

• SMOTE是针对结构化分类任务设计的样本增强方案，无法直接用于文本序列标注任务
• boost属于模型集成方法，不属于不平衡数据的专用处理方案
• 只有当你的正样本（包含角色实体的句子/实体token）占比不足1%的时候，才需要考虑类不平衡问题。常规场景下空标签负样本占比30%-70%都属于合理区间，不需要特殊处理
• 如果确实出现正样本占比极低的情况，也不要用SMOTE这类方案，优先选择「少量多次过采样包含实体的句子」「调整实体识别的损失权重」这类适配NLP序列标注的方案

3. 该场景下的最佳实践 #

• 首先核验所有空标签样本，确认没有漏标的角色实体，避免错误标注的样本带偏模型效果
• 直接将这批样本加入训练集即可，SpaCy的内置训练pipeline原生支持空标签的序列标注样本，无需额外处理
• 如果负样本总量是正样本的10倍以上，可以做适量的负样本下采样，保留和正样本数量比例在3:1到5:1之间即可，避免模型过度倾向于输出空标签导致召回率下降
• 拆分训练集、验证集时要做分层采样，保证验证集中也包含对应比例的空标签样本，确保评估指标能真实反映模型的线上效果
• 针对变体角色名识别的需求，可以配合SpaCy的Rule-based Matcher先做预标注，补充更多变体形式的实体样本，进一步提升模型对变体的适配能力

内容的提问来源于stack exchange，提问作者yury_gurevich