迁移学习spaCy NER模型未见过自定义实体召回率与F1低优化求助

数据集优化方向 #

• 做针对性数据增强
  • 实体替换增强：将训练文本中已标注的实体，随机替换为同类型的未出现在训练集的实体实例，保持上下文结构不变，生成新训练样本，强制模型学习实体的上下文模式而非死记实体字符串本身
  • 上下文扰动：对包含实体的文本做同义词替换、轻度句式改写、非核心成分语序调整，不改动实体本身和实体的核心语义关联，扩大训练数据的上下文多样性
  • 补充边界场景标注：新增训练集中实体在特殊场景下的标注样本，包括实体出现在句首/句尾、带多层修饰词、被插入语分隔、和其他实体紧邻的场景
• 调整数据校验逻辑：适当提高验证集中未见实体的占比，训练过程中以验证集未见实体的F1得分作为核心早停指标，不再用整体指标判断训练进度，避免过拟合训练集已见实体

训练策略优化方向 #

• 调整超参抑制过拟合
  • 减少训练迭代次数：当前已见实体指标已经达到满分，说明模型已经过拟合训练集，直接降低epoch数，触发早停的阈值提前
  • 加大正则力度：将训练配置中的dropout参数调整到0.3~0.5区间，新增weight_decay权重衰减项，降低模型对训练集独有特征的记忆度
  • 降低学习率：预训练模型迁移阶段用1e-5~5e-5区间的低学习率，避免破坏预训练底座学习到的通用语义表征
• 更换更强的预训练底座：放弃轻量的en_core_web_sm，改用en_core_web_md或en_core_web_lg作为预训练底座，大模型的通用语义表征能力更强，对未见实体的泛化表现天然更优
• 增加规则模块辅助：在spaCy流水线的NER模块前加入EntityRuler规则匹配组件，提前匹配自定义实体的共性特征（比如特定前缀后缀、命名格式规则），规则匹配结果和NER预测结果做融合，可大幅提升未见实体的召回率

损失函数优化方向 #

• 自定义加权损失：给未见实体样本的预测损失设置更高权重，训练过程中强制模型优先学习对未见实体的识别逻辑，针对性提升未见实例的召回表现

内容的提问来源于stack exchange，提问作者nachiket273