Spark BinaryClassificationEvaluator多次运行AUC/PR-AUC结果不稳定是否正常？

这种情况通常是符合预期的，核心原因和Spark分布式计算特性以及评估指标的计算逻辑直接相关：

• 分布式排序的不确定性：BinaryClassificationEvaluator计算AUC/PR-AUC时，需要对样本按rawPrediction列排序。当存在大量相同rawPrediction值的样本时，分布式环境下不同分区的处理顺序可能存在差异，导致最终全局排序结果出现细微变化。这种排序波动会影响ROC/PR曲线的点分布，进而带来AUC/PR-AUC的微小数值差异。
• PR-AUC对样本顺序更敏感：相比ROC-AUC，PR-AUC的计算逻辑对样本排序顺序的敏感度更高，尤其是在正负样本分布不均衡的场景下，相同预测值的样本顺序变化会更明显地反映在PR曲线的面积计算结果中。
• 浮点计算的精度差异：分布式计算中，不同节点的浮点运算精度可能存在细微差别，累加计算曲线下面积时会产生极小的误差。

如果出现大幅波动（比如AUC变化超过0.01），则可能存在异常，需要排查：

• 是否每次评估时的数据实际存在差异（比如数据源未固定、存在随机采样逻辑）
• 是否rawPrediction列的生成过程引入了随机性（比如模型训练时未固定随机种子）

内容的提问来源于stack exchange，提问作者G_cy