嗨，这个问题挺有意思的——看起来你已经在极度不平衡的分类任务上做了不少扎实的探索，先给你点个赞！先直接给结论：这两个观点根本不矛盾，只是从不同角度拆解了同一个核心问题的两面，咱们慢慢捋清楚：

先搞懂两个指标的本质差异 #

要理解这两个观点，得先明白ROC-AUC和PR-AUC的计算逻辑：

• ROC-AUC：基于真正率（TPR，少数类被正确识别的比例）和假正率（FPR，多数类被误判为少数类的比例）。当类别不平衡到717:1这种程度时，哪怕你误判了大量多数类样本，FPR的数值依然会很小（比如717个多数类里误判10个，FPR≈1.39%），这会让ROC曲线看起来非常漂亮，AUC数值很高，但实际上模型对少数类的识别能力可能很差——这就是第一篇文献说“ROC可能掩盖模型性能不足”的核心原因。
• PR-AUC：基于精确率（Precision，预测为少数类的样本里真正是少数类的比例）和召回率（Recall，即TPR）。极度不平衡时，精确率会直接暴露模型的短板：如果模型随便把一些多数类判成少数类，精确率会暴跌。所以PR-AUC能更直观地反映模型在少数类上的实际表现。

两篇文献的观点其实是互补的 #

咱们再拆解两个观点的核心：

• 第一篇文献说“除AUC ROC外，所有性能指标（含AUC PR）均受不平衡分布影响”：这里的“受影响”不是指PR-AUC没用，而是说PR-AUC会诚实地体现不平衡带来的挑战（比如精确率偏低），而ROC-AUC因为计算方式的特殊性，会“隐藏”这种问题——它的高AUC可能只是因为多数类样本多，FPR很难被拉高，不代表模型真的擅长识别少数类。
• Dan Martin提出“选择最优分类器不应仅依赖AUC ROC，需结合AUC PR”：这刚好是对第一篇观点的补充！既然ROC-AUC可能掩盖模型的真实短板，那肯定不能只看它，必须搭配PR-AUC来判断模型在少数类上的实际能力——毕竟咱们做不平衡分类的核心目标，通常就是精准识别出少数类（类别1），对吧？

给你的实际建议（结合GBM模型） #

既然你已经测试出GBM效果最优，那建议你：

• 同时对比ROC-AUC和PR-AUC的数值：如果ROC-AUC很高但PR-AUC很低，说明你的GBM其实对少数类的识别能力不足，只是ROC曲线被大量多数类样本“美化”了；如果两者都不错，才说明模型真的在少数类上有稳定表现。
• 别只看AUC数值，还要看PR曲线的具体形状：比如当召回率达到你需要的阈值（比如80%）时，精确率能保持在什么水平，这比单一的PR-AUC数值更有实际业务价值。
• 搭配其他少数类相关指标：比如F1-score（精确率和召回率的调和平均）、混淆矩阵（重点看真正例TP和假负例FN的绝对数量），这些能帮你更全面评估模型的实际效果。

总结 #

这两个观点完全不矛盾，而是一套完整的逻辑：第一篇提醒你ROC-AUC的局限性，第二篇告诉你怎么弥补这个局限性——结合PR-AUC。在极度不平衡的分类任务中，ROC-AUC可以作为通用参考，但必须搭配PR-AUC以及少数类专属指标，才能准确判断模型的真实性能。

内容的提问来源于stack exchange，提问作者Lokesh Arya