Python实现活性化合物与诱饵ROC曲线绘制的正确性评估及方法咨询
当前ROC计算结果异常的核心原因
你得到的AUC接近0.5的结果,本质是输入给评估函数的pred值不符合ROC计算的要求,并非模型本身的效果问题:
- ROC曲线和AUC指标的设计目标,是遍历模型所有可能的预测阈值,观察真阳性率和假阳性率的变化关系,它要求的输入是模型对每个样本输出的连续型预测打分/相对排序值,而非人为将打分二值化之后得到的0/1硬分类标签。
- 你目前的pred列表只有0和1两个离散值,等同于告诉评估函数:列表里所有pred=1的化合物预测得分完全相等、没有高低区别,所有pred=0的化合物得分也完全相等。这种情况下,评估函数根本识别不到你提到的“排序前10位全部正确”的优势——因为在它的计算逻辑里,索引0位置的正确活性化合物,和索引10位置被错判成1的诱饵,两者的预测得分是完全一样高的,没有先后排序的差异,自然计算出的AUC会接近随机水平。
- 可以简单验算下你当前样本的混淆矩阵:总共有19个活性(test=1)、5个诱饵(test=0);pred=1的位置包含16个活性、4个诱饵,pred=0的位置包含3个活性、1个诱饵。因为pred没有连续区分度,评估函数只会生成3个固定的曲线点:(0,0)(所有样本判为负)、(0.8, 0.84)(阈值=1时的分类结果)、(1,1)(所有样本判为正),连接这三个点计算出的面积本身就和随机水平差异很小,和你观察到的0.49-0.5的结果完全吻合。
适配虚拟筛选小数据集的评估方法优化建议
结合你的场景(小样本、活性/诱饵不平衡、核心目标是把活性化合物排到筛选结果的前列),可以按照以下逻辑调整评估方案:
- 修正ROC-AUC的输入逻辑:不要用二值化后的硬标签当pred值,直接把每个化合物对应的虚拟筛选原始得分(比如分子对接打分、AI模型输出的连续概率值)传入
roc_curve和roc_auc_score。只要保留每个化合物的真实得分高低顺序,评估函数就能正确识别你“前10位全部正确”的排序优势,计算出和实际匹配的AUC值。 - 考虑用PR曲线替代部分ROC的评估场景:ROC-AUC本身对类别不平衡的鲁棒性优于准确率,但当诱饵数量远大于活性化合物时,ROC曲线的数值会显得偏乐观。PR曲线(精确率-召回率曲线)会更敏感地反映排序靠前位置的活性富集效果,更适合不平衡数据集的虚拟筛选效果评估,对应的计算可以直接调用sklearn的
precision_recall_curve接口。 - 补充排序类评估指标,匹配连续活性值的场景:你提到的“将IC50值按活性从优到劣排序,和虚拟筛选排序做对比”的思路是非常贴合场景的,不需要硬切成二元标签做分类评估:
- 可以直接计算两个排序列表的Spearman秩相关系数,衡量两个排序的整体一致性;
- 可以补充虚拟筛选领域常用的BEDROC指标,专门侧重评估排序靠前位置的富集效果,刚好能量化你“前10位全部正确”的优势;
- 可以计算前N个筛选结果的富集因子(EF),直接体现前N位里的活性占比相对随机水平的提升倍数。
当前代码的冗余修正
- 代码里的
for i in range(2)循环对二分类任务是完全多余的,二分类场景下直接传入一次真实标签和预测值就能完成所有计算,不需要按类别重复循环。 - 绘制曲线时不需要额外区分类别索引,直接输出正类的ROC曲线即可。
内容的提问来源于stack exchange,提问作者Camila Fonseca Amorim da Silva
相关产品推荐
相关产品推荐

