无验证数据集时如何判断模型是否过拟合及泛化能力？

• 监控训练损失与乱标签数据的表现：如果训练损失持续走低，但模型在随机打乱标签的训练数据上的损失不再下降甚至上升，说明模型记住了训练数据的特定特征而非通用规律，大概率存在过拟合。
• 观察模型对扰动样本的稳定性：过拟合的模型对训练样本的预测置信度会异常集中（比如几乎全是99%以上的置信度），但给训练样本添加微小扰动（如高斯噪声、局部裁剪）后，预测结果会出现大幅波动甚至完全错误。
• 匹配模型复杂度与任务需求：如果用了远超任务所需的复杂模型（比如用10层Transformer做简单文本分类），且训练损失极低，但从任务逻辑看模型不该如此“完美”，就要警惕过拟合。
• 分析训练子集的表现差异：把训练集拆分成几个互不重叠的子集，分别测试模型性能。如果各子集的表现差异明显增大，同时整体训练损失极低，说明模型过度拟合了训练集的局部特征。

判断是否过拟合 #

• 对比原预训练任务子集的性能：微调后，拿原预训练任务的一小部分未见过的数据测试模型，如果性能大幅下滑，但微调数据集上损失极低，说明模型过度拟合了微调数据的特有噪声，没学到跨任务的通用特征。
• 测试增强后微调样本的表现：对微调数据集的样本做数据增强（如图片旋转、文本同义词替换），如果增强后的样本预测准确率骤降，说明模型记住了原始样本的细节，存在过拟合。

判断是否过度训练 #

• 监控微调阶段的损失与稳定性：如果训练损失稳定后继续训练，出现损失回升，或者同一微调样本多次预测结果不一致，说明过度训练导致参数震荡，泛化能力下降。
• 观察参数变化幅度：对比微调初期和后期的模型参数，若参数变化量远超合理范围（比如全连接层权重变化超50%），且简单测试样本的表现变差，大概率是过度训练。

泛化能力评估方法 #

• 零样本/少样本测试：选同领域但未见过的少量样本测试模型，若准确率远低于微调数据集的表现，说明泛化能力差；反之则较好。
• 模型压缩验证：对模型做剪枝或量化，若压缩后性能下降极小，说明原模型学到了鲁棒的通用特征；若性能暴跌，说明模型依赖冗余噪声特征，泛化能力弱。
• 领域迁移测试：把模型用到同类型不同场景的任务中（比如微调的是中文情感分类，测试英文情感分类），若能保持一定准确率，说明泛化能力不错；反之则较差。

内容的提问来源于stack exchange，提问作者dimes