训练数据量对模型精度排名的影响及多模型指标可视化方法

训练数据量增加完全可能改变不同模型间的精度相对表现，你观察到的排名波动是非常正常的现象，核心原因有三点：

• 不同模型的样本效率存在本质差异：高偏差、低方差的简单模型（逻辑回归、朴素贝叶斯）参数量少，极小样本下就能快速收敛到自身性能上限，小样本测试阶段很容易拿到靠前排名；而高容量的集成模型（LightGBM、Bagging、随机森林）、核SVM等需要足够多的样本才能充分学习数据的复杂模式，小样本下处于欠拟合状态，性能被严重低估，随着样本量提升性能会持续爬坡，逐步反超简单模型。你现在的结果里3500行样本下SVM排F1第一，7000行时LightGBM、Bagging已经反超，就是高容量模型性能随样本量释放的典型表现。
• 小样本结果的统计显著性极低：3500行仅占全量数据的4.9%，抽样带来的分布偏差影响极大——如果抽样子集的类别占比、特征分布和全量数据存在偏移，测出来的精度本身就不代表模型真实泛化能力。你两次实验里头部模型的精度差距大多在1个百分点以内，这种幅度的差异完全可能是随机抽样波动导致的，根本算不上稳定的性能差距。
• 你观察到的精度绝对值小幅下降也属正常：3500行拆分后测试集仅800余条，覆盖的数据模式少，模型很容易拿到虚高分数；样本量翻倍后测试集覆盖的边缘场景更多，难度上升，分数小幅回落反而更接近模型的真实泛化水平。如果两次抽样没有固定随机种子做分层抽样，数据集本身的分布差异也会进一步放大排名波动。

针对你已经存储的多组样本量下的模型指标DataFrame，推荐两种实用性最强的可视化方式，能快速定位综合表现最优的模型：

• 第一选择：分组折线学习曲线
  横轴设为总样本量（3500、7000、后续跑完全量可补充70692），纵轴为指标值，每个模型对应一条折线，分5个子图分别展示Accuracy、Precision、TPR、Specificity、F1五个指标。
  这种图表不仅能直观看到当前最大样本量下的模型排名，还能看到各模型的性能变化趋势：如果某模型随着样本量增加性能还在持续上升，说明上全量数据后还有很大提升潜力；如果某模型性能已经进入平台期，就算当前排名靠前，后续也不会有太大增长。
  基于pandas和seaborn的核心实现代码如下：

  import pandas as pd
  import seaborn as sns
  import matplotlib.pyplot as plt
  
  # 将不同样本量的结果表统一整理为长表格式
  # 每一行字段为：模型名(name)、指标名(metric)、指标值(score)、对应样本量(sample_size)
  def format_result(df, sample_size):
      df_long = df.melt(id_vars="name", var_name="metric", value_name="score")
      df_long["sample_size"] = sample_size
      return df_long
  
  # 合并所有样本量的结果，后续跑完7万全量数据可以直接追加
  all_result = pd.concat([
      format_result(df_3500, 3500),
      format_result(df_7000, 7000),
      # format_result(df_full, 70692)
  ])
  
  # 绘制分面折线图
  sns.relplot(
      data=all_result,
      x="sample_size",
      y="score",
      hue="name",
      col="metric",
      kind="line",
      col_wrap=3,
      marker="o",
      facet_kws={"sharey": False}
  )
  plt.tight_layout()
  plt.show()
  

• 第二选择：指标热力图/雷达图
  当你固定到最大可用样本量的结果时，可以用热力图做横向对比：行设为模型名，列设为5个评估指标，单元格颜色深浅对应指标值高低，按核心业务关注的指标（比如F1、TPR）排序，一眼就能看出模型是否存在偏科。如果更关注综合性能覆盖度，也可以用雷达图，每个模型对应一个多边形，多边形覆盖面积越大代表综合性能越强。

筛选模型时不用纠结零点几个百分点的精度差异：优先选最大样本量下排名靠前、且学习曲线还处于上升趋势的模型，这类模型在全量数据上的表现会最好；如果多个模型性能差距极小，优先选训练推理速度快、可解释性强的即可。

注：3500行、7000行均为包含训练集、测试集的总样本量，所有实验均采用75%数据用于训练、25%数据用于测试的拆分规则。

内容的提问来源于stack exchange，提问作者KidCoder