仅修改部分样本的改进分类器AUC提升的统计显著性检验方法咨询

这确实是个很常见的问题——当两种模型在绝大多数样本上输出完全一致时，常规的AUC对比检验因为信号被大量无差异样本稀释，很容易给出不显著的结果。针对你的场景，这里有几个专门适配的统计检验思路：

因为你的改进方法只修改了部分样本的输出，模型差异的核心完全来自这部分样本，所以可以直接把检验范围限定在这些被修改的样本子集上：

• 如果你的模型输出是二分类标签（0/1）：用McNemar检验，它专门针对配对二分类数据，只关注两种模型预测结果不同的样本（也就是你的差异样本），通过对比“基线正确但改进错误”和“基线错误但改进正确”的样本数量，判断改进是否有统计显著性。
• 如果你的模型输出是概率值（用于计算AUC）：用Wilcoxon符号秩检验，它会自动忽略那些两种模型输出完全相同的样本，只针对有差异的样本对比它们的概率分布差异，能有效聚焦真实的改进信号。

常规Bootstrapping随机抽样时，大量无差异样本会稀释差异信号，你可以修改抽样逻辑来提升敏感性：

• 采用分层Bootstrapping：按照“是否为差异样本”将数据集分成两层，每次抽样时从每层中按原数据的比例抽取样本，保证每次Bootstrap样本中都包含足够的差异样本，避免因随机抽样漏掉关键差异。
• 或者直接只对差异样本进行Bootstrapping，结合非差异样本的固定贡献计算整体AUC的差异分布，这样能更高效地捕捉到改进带来的变化。

在报告结果时，一定要明确说明你使用了针对差异样本的检验或调整后的抽样方法，同时解释原因（两种模型在大部分样本上输出一致），这样你的结论会更严谨可信。

内容的提问来源于stack exchange，提问作者ms1437