如何在Scala/Spark中计算XGBoost二分类模型的对数损失(Log Loss)？

我懂你这种尴尬——Spark自带的BinaryClassificationMetrics确实只给了AUC这类常用指标，没直接提供Log Loss的计算入口，不过咱们有两种靠谱的解决办法，帮你搞定这个问题：

方案一：手动实现Log Loss计算（最直观） #

二分类Log Loss的公式是：

-1/N * Σ[y_i * log(p_i) + (1-y_i)*log(1-p_i)]

这里要注意**避免log(0)**的报错，所以需要把预测概率限制在[ε, 1-ε]之间（ε取极小值比如1e-15）。直接用Spark SQL的函数就能实现：

import org.apache.spark.sql.functions.{col, log, sum, least, greatest, lit}

// 定义极小值防止log(0)报错
val epsilon = 1e-15

// 先把预测值"钳位"到安全范围，再计算每个样本的损失项
val clampedDF = df.withColumn("safe_pred", 
  least(greatest(col(PREDICTED_COL).cast("double"), lit(epsilon)), lit(1 - epsilon))
)

// 计算总损失并取平均得到最终Log Loss
val logLoss = -clampedDF.select(
  sum(
    col(TARGET_COL).cast("double") * log(col("safe_pred")) + 
    (1 - col(TARGET_COL).cast("double")) * log(1 - col("safe_pred"))
  )
).head().getDouble(0) / clampedDF.count()

方案二：使用Spark MLlib的LogLoss类 #

你提到的org.apache.spark.mllib.tree.loss.LogLoss类是可以用的，但要注意它的输入要求：这个类的compute方法接受的是模型的原始logit输出（也就是未经过sigmoid转换的预测值），而XGBoostClassifier默认输出的是概率值，所以需要先把概率转成logit（公式：log(p/(1-p))）。

代码示例：

import org.apache.spark.mllib.tree.loss.LogLoss
import org.apache.spark.sql.functions.udf

// 定义UDF，将概率转成logit后计算单个样本的损失
val logLossUdf = udf((predProb: Double, label: Double) => {
  // 把概率转换到logit空间
  val logit = math.log(predProb / (1 - predProb))
  // 调用LogLoss的compute方法计算单样本损失
  LogLoss.compute(logit, label)
})

// 计算每个样本的损失项，再求平均得到最终Log Loss
val lossDF = df.withColumn("loss_term", logLossUdf(col(PREDICTED_COL).cast("double"), col(TARGET_COL).cast("double")))
val logLoss = lossDF.select(sum("loss_term")).head().getDouble(0) / lossDF.count()

小提示 #

• 如果你的XGBoost模型输出的是原始logit（而非概率），那方案二可以直接跳过logit转换步骤，直接传入预测值即可。
• 手动实现的方案更灵活，不需要依赖MLlib的内部类，推荐日常使用。

内容的提问来源于stack exchange，提问作者YaleBD