DNN超参数调优时如何合理评估模型？网格搜索下的指标选择疑问

损失 vs 准确率：该选哪个？ #

先明确两者的核心差异：

• 损失是模型训练的优化目标（比如交叉熵、MSE），反映的是预测值和真实值之间的量化误差，能细腻捕捉模型的优化程度；
• 准确率是业务层面的直观指标，直接衡量模型预测正确的比例，和最终业务效果挂钩。

具体怎么选：

• 如果是回归任务，或者类别不平衡的分类任务，优先用损失。比如电商用户流失预测，流失用户占比只有5%，准确率会被非流失用户主导，而损失能兼顾少数类的预测误差，避免模型“假装”表现好；
• 如果是类别均衡的分类任务（比如MNIST手写数字识别），用准确率更合适，毕竟最终业务关心的就是“模型能对多少”；
• 同时结合的话，没必要把它作为核心调参指标，更适合当辅助筛选。比如先用损失找出一批候选超参数，再用准确率挑最终模型；或者设置加权组合（比如70%准确率+30%损失），但权重得根据你的业务优先级来定，别拍脑袋瞎设。

业内超参数调优的常用评估方式 #

• K折交叉验证：这是行业标配，绝对别直接用测试集调参！把训练集分成K份，每次用K-1份训模型，1份做验证，取K次结果的平均值当指标。这样既能避免测试集数据泄露，还能减少单次验证的随机性；
• 分层交叉验证：针对类别不平衡的任务，确保每一份子集的类别分布和整体训练集一致，防止验证集样本偏斜导致评估结果不准；
• 时间序列分割：如果是时序任务（比如销量预测、用户行为时序分析），不能随机拆数据，必须按时间顺序划分训练/验证集，模拟真实场景下“用过去的数据预测未来”的逻辑；
• 多指标加权/帕累托最优：如果任务有多个目标（比如既要准确率高，又要模型推理快），可以给不同指标设权重算综合得分，或者找帕累托最优的模型——就是那些准确率和速度都排在前列，没法再优化其中一个而不牺牲另一个的模型；
• 早停+调参：网格搜索时，每个超参数组合训练都加早停机制，用验证集的损失/准确率判断什么时候停训，既能省算力，还能避免模型过拟合。

给你的2层DNN调参建议 #

1. 先对齐任务类型：分类且类别均衡就优先用准确率，回归或类别不平衡就选损失；
2. 立刻换掉“用测试集评估”的方式，改成K折交叉验证，测试集留到最后只做最终模型的性能验证；
3. 想兼顾损失和准确率的话，先拿损失筛出Top N的超参数组合，再用准确率挑最终模型，比直接加权更稳妥；
4. 额外注意：2层DNN容易过拟合，调参时可以盯着训练集和验证集的损失差，选泛化能力更好的组合——比如训练集损失很低，但验证集损失突然飙升的，直接pass。

内容的提问来源于stack exchange，提问作者Tra Ido