BioBERT仓库NER数据集4个tsv文件的含义与作用说明咨询

各文件的具体作用 #

• train.tsv：核心训练集，模型训练阶段仅使用该文件内的样本更新权重参数，是模型学习实体识别规律的主要数据来源。
• devel.tsv：即你提到的可选valid.tsv（验证集），不参与模型权重更新，仅在训练过程中被用来实时评估模型拟合情况、判断是否过拟合、调整超参数（如学习率、训练轮次、dropout比例等），也用来触发早停机制避免模型过拟合。
• train_dev.tsv：是train.tsv与devel.tsv合并后的全量标注数据集，仅在超参数全部调试完成、需要训练最终上线/投稿用的模型时使用，目的是充分利用所有标注数据提升最终模型的表现。
• test.tsv：最终盲测集，全程不参与训练环节、也不参与超参数调整，只有模型完全训练冻结后才会用来测试模型的真实泛化能力，该指标是可用于论文发表、横向效果对比的可信结果。

设置4份文件的必要性 #

你日常使用觉得2-3份文件足够，是因为很多非学术场景下不需要用到train_dev.tsv，但对于生物医学NER这类对实验严谨性、结果可复现性要求高的场景，4份文件是行业标准配置：

避免效果评估虚高：如果仅用train.tsv+test.tsv，你调参过程中如果参考了test.tsv的效果，相当于模型间接“见过”测试集，最终效果会比真实泛化能力偏高，拆分出独立的devel.tsv做调参、test.tsv只做最终测试可以完全规避这个问题。

• 最大化珍贵标注数据的利用率：生物医学领域的NER标注需要专业从业人员完成，标注成本极高，每一条标注数据都有很高的价值。等你通过train.tsv+devel.tsv的组合确定了最优超参数后，用合并后的train_dev.tsv训练最终模型，可以把验证集的标注数据也用上，不会浪费样本资源。
• 方便横向对比实验结果：BioBERT的数据集拆分方式完全对齐了NCBI疾病语料、BC5CDR等主流生物医学NER基准数据集的官方拆分规则，所有研究者都用相同的拆分文件做实验，出来的结果可以直接横向对比，不会因为数据集拆分方式的差异导致效果对比没有意义。

内容的提问来源于stack exchange，提问作者Contestosis