Named Entity Recognition模型训练测试集划分时实体不重复的必要性咨询

针对你的场景（目标为泛化识别未见过的新人名），非常有必要保证同一人名不会同时出现在训练集和测试集中，核心原因和注意事项如下：

• 测试集的核心作用是模拟真实上线场景的模型表现，你未来要处理的人名都不在当前300个已知人名范围内，如果测试集混入了训练集出现过的人名，得到的准确率会严重虚高，完全无法反映模型识别陌生人名的真实能力。比如训练阶段模型见过几百次"张三"，测试时碰到"张三"肯定能轻松识别，但这无法证明它能认出从未见过的"李四"。
• 如果只做普通的随机句子拆分，大概率测试集中80%以上的人名都是训练集出现过的，最终得到的评估结果没有任何参考价值，模型上线后碰到新人名效果会出现断崖式下跌。

如果担心300个唯一人名拆分后训练集数据量不足，可以用实体级K折交叉验证缓解：把300个人名随机分成K组（推荐K=5或K=10），每次取K-1组对应的所有标注句子作为训练集，剩余1组对应的句子作为测试集，跑K次取平均评估结果，既可以保证评估结果的合理性，也能最大化利用有限的标注数据。

如果你的模型应用场景是固定识别当前300个人名，未来不会有新增人名需要识别，就不需要做实体级拆分，普通随机拆分即可，这种场景下模型的核心目标是记住已知人名的特征，测试集只要和训练集分布一致就可以得到合理的评估结果。

内容的提问来源于stack exchange，提问作者user287023