如何逐样本对比不同模型测试集预测类别并可视化

一、量化统计方法 #

针对5万样本规模的数据集，用pandas即可快速完成全量逐样本的对比分析，核心方法如下：

• 计算两两模型预测一致率矩阵：统计任意两个模型预测结果完全相同的样本占比，从宏观层面判断模型预测结果的相似性
• 逐样本打一致性标签：对每个样本，统计预测结果相同的模型数量，标记所有模型预测完全一致的样本、存在预测分歧的样本
• 定向条件校验：针对需要验证的特定规则（比如模型A预测为类别0时，B/C是否也预测为0），直接筛选对应子集做统计即可
• 分歧样本溯源：单独提取模型预测结果不一致的样本，匹配真实标签定位哪些模型出现了误判，总结不同模型的预测偏好

对应实现代码（基于给出的示例DataFrame）：

import pandas as pd
import numpy as np

# 提取所有模型预测列，排除真实标签列
pred_cols = [col for col in df.columns if col.endswith('_pred')]

# 1. 计算两两模型预测一致率
agree_matrix = pd.DataFrame(index=pred_cols, columns=pred_cols, dtype=np.float64)
for model_a in pred_cols:
    for model_b in pred_cols:
        agree_matrix.loc[model_a, model_b] = (df[model_a] == df[model_b]).mean()

# 2. 逐样本统计一致性
# 每个样本上最多模型一致的预测结果对应的模型数
df['max_agree_count'] = df[pred_cols].apply(lambda x: x.value_counts().iloc[0], axis=1)
# 标记所有模型预测完全一致的样本
df['all_agree'] = df['max_agree_count'] == len(pred_cols)

# 3. 定向校验规则：比如rf预测为0时，其余模型预测为0的比例
rf_pred0 = df[df['rf_pred'] == 0]
rf0_other_agree = (rf_pred0[pred_cols] == 0).mean()

用给出的示例数据跑上述代码，会得到rf、mlp、knn、lg四个模型在rf预测为0的样本上一致率为100%，ada模型一致率为0，和手动观察到的结果完全匹配。

二、可视化实现方案 #

上述统计结果完全支持可视化，以下几种图实用性最高：

• 一致率热力图：把前面算的两两一致率矩阵绘制成热力图，颜色越深代表模型间预测一致性越高，一眼就能识别出预测结果高度相似的模型组。实现代码：

import seaborn as sns
import matplotlib.pyplot as plt

plt.figure(figsize=(7,5), dpi=100)
sns.heatmap(agree_matrix, annot=True, cmap='Blues', vmin=0, vmax=1, fmt='.2f')
plt.title('Pairwise Model Prediction Agreement Rate')
plt.tight_layout()
plt.show()

• 分组一致性柱状图：按真实类别分组，统计每个类别下全模型预测一致的样本占比、存在分歧的样本占比，可以快速定位哪个类别是模型分歧的重灾区。
• 特征空间分歧散点图：先把样本特征用UMAP/TSNE降维到2维，每个点对应一个样本，用颜色区分全模型一致样本、存在分歧的样本，还可以给分歧点标记具体是哪个模型给出了不同预测，能直观看出分歧样本是否集中在类别边界等特定区域。
• 多模型混淆矩阵组图：把每个模型相对于真实标签的混淆矩阵排成子图网格，可以直接对比不同模型的误判倾向，比如示例里的Ada模型持续把类别3预测为类别2，在混淆矩阵上会非常突出。

5万样本规模运行上述所有统计和可视化逻辑都不会有性能问题，不需要做采样处理。如果只需要对比部分模型的预测结果，直接修改pred_cols列表为目标模型列名即可，其余逻辑不需要调整。

内容的提问来源于stack exchange，提问作者user12587364