假语音检测模型准确率优异但Precision/Recall/F1值低下的原因及优化

问题背景 #

使用含3000张图像的数据集训练多种模型架构，调整模型结构、学习率、批次大小、训练轮数等超参数后，Train、Validation、Test准确率始终高于97%，但Precision、Recall、F1分数持续不佳；调整分类阈值也无改善。

核心原因分析 #

• 数据集严重不平衡：这是准确率虚高但分类指标拉胯最常见的原因。若某类样本占比97%以上，模型只需无脑预测多数类就能拿到高准确率，但对少数类的识别能力极差，直接导致Precision/Recall/F1崩盘。
• 样本标签错误：假语音任务的标签边界可能存在模糊性，部分样本标注错误会让模型学到错误特征，看似准确率达标，实则在真实分类场景下指标失效。
• 评估指标计算逻辑错误：检查评估代码是否混淆了正负类定义，比如误将假语音的TP统计成FP，颠倒了核心统计逻辑。
• 模型过拟合到无关特征：数据集可能存在标注偏差（比如假语音样本都来自同一采集设备），模型学的是设备特征而非语音伪造特征，导致准确率虚高但泛化能力极差。

优化方案 #

针对数据集不平衡 #

• 先统计数据集类别分布，若存在倾斜：
  • 重采样：对少数类样本做过采样（复制、SMOTE合成），或对多数类做欠采样；
  • 损失加权：给少数类样本分配更高损失权重，比如在交叉熵损失中设置class_weight='balanced'（适配Scikit-learn/Keras模型）。

数据与标签校验 #

• 随机抽取低指标类别的样本人工复检，修正错误标注；
• 分析真假语音的特征差异（比如梅尔频谱的关键区域），确保数据集样本的特征分布符合任务预期。

修正评估逻辑 #

• 打印混淆矩阵确认TP、TN、FP、FN的数值是否符合预期，代码示例：

  from sklearn.metrics import confusion_matrix
  y_true = [...]  # 真实标签列表
  y_pred = [...]  # 模型预测标签列表
  print(confusion_matrix(y_true, y_pred))
  

  根据混淆矩阵修正正负类统计逻辑后，重新计算Precision/Recall/F1。

模型与训练优化 #

• 加入正则化（L2正则、Dropout层）抑制过拟合，避免模型学到无关特征；
• 采用带注意力机制的模型架构，引导模型关注语音伪造的关键特征区域；
• 替换损失函数，使用加权交叉熵、Focal Loss等针对不平衡数据集的损失函数。

阈值调整进阶 #

• 绘制PR曲线，找到F1值最高的阈值点；同时结合业务需求（如优先保障Recall或Precision）选择合适阈值。

附上的代码与实验结果 #

模型代码 #

# 请粘贴你的模型代码

评估代码 #

# 请粘贴你的评估代码

实验结果 #

请粘贴你的实验结果（准确率、Precision/Recall/F1数值等）

内容的提问来源于stack exchange，提问作者Zic