二分类任务中sklearn.log_loss返回NaN，tensorflow.losses.log_loss正常

我之前也碰到过类似的问题，本质是两个库对对数损失的数值稳定性处理和输入要求存在差异，咱们一步步拆解：

核心原因分析 #

1. 数值稳定性处理不同
   TensorFlow的tf.losses.log_loss（本质是二分类交叉熵）默认会对预测概率做强制截断，把y_pred限制在[1e-7, 1-1e-7]范围内，彻底避免计算log(0)或log(1)这种会产生无穷大的情况。
   而scikit-learn的log_loss虽然有eps参数（默认是1e-15）用来规避log(0)，但这个值太小，在某些浮点数精度场景下（比如y_pred刚好是1.0或0.0），截断后的数值还是可能触发log(0)的计算，最终返回NaN。

2. 输入形状/格式要求差异
   二分类任务中，两个库对标签和预测值的格式容忍度不同：

   • TensorFlow的log_loss可以灵活处理一维（0/1标签）或二维（one-hot标签）的y_true，只要和y_pred形状匹配就行。
   • scikit-learn的log_loss对格式要求更严格：如果y_true是一维0/1数组，y_pred必须是一维的正类概率数组；如果y_true是二维one-hot数组，y_pred必须是二维的两类概率数组。形状不匹配直接会导致计算异常，返回NaN。

快速排查与解决方案 #

第一步：检查数据异常 #

先确认你的输入数据有没有问题：

import numpy as np

# 检查y_pred的取值范围
print(f"y_pred 最小值: {np.min(y_pred)}, 最大值: {np.max(y_pred)}")
print(f"y_pred 包含0? {np.any(y_pred == 0)}, 包含1? {np.any(y_pred == 1)}")

# 检查y_true和y_pred的形状
print(f"y_true 形状: {y_true.shape}, y_pred 形状: {y_pred.shape}")

如果y_pred有0/1，或者形状不匹配，那就是问题根源。

第二步：统一数值稳定性处理 #

手动对齐TensorFlow的截断逻辑，再传给sklearn计算：

# 把y_pred截断到和TensorFlow一致的范围
y_pred_clipped = np.clip(y_pred, 1e-7, 1 - 1e-7)
loss_sk = sklearn.metrics.log_loss(y_true, y_pred_clipped)

# 或者直接修改sklearn的eps参数，和TensorFlow对齐
loss_sk = sklearn.metrics.log_loss(y_true, y_pred, eps=1e-7)

第三步：确保输入格式匹配 #

如果是形状不匹配的问题：

• 如果你的y_true是one-hot格式（比如[[1,0], [0,1]]），而y_pred是一维正类概率（比如[0.9, 0.1]），需要把y_true转成一维0/1数组：

  y_true_1d = np.argmax(y_true, axis=1)
  loss_sk = sklearn.metrics.log_loss(y_true_1d, y_pred)
  

• 如果y_pred是二维两类概率数组，直接传入即可，不用转换。

验证示例 #

用你的数据跑一下这个代码，就能看到差异消失：

import sklearn.metrics
import tensorflow as tf
import numpy as np

# 加载你的y_true和y_pred
y_true = [...]  # 替换成你的真实标签
y_pred = [...]  # 替换成你的预测概率

# TensorFlow计算损失
loss_tf = tf.losses.log_loss(y_true, y_pred).numpy()

# 处理后用sklearn计算
y_pred_clipped = np.clip(y_pred, 1e-7, 1-1e-7)
loss_sk_clipped = sklearn.metrics.log_loss(y_true, y_pred_clipped)

print(f"TensorFlow 损失值: {loss_tf:.6f}")
print(f"Sklearn 处理后损失值: {loss_sk_clipped:.6f}")

这样两者的结果就会基本一致（除了极微小的浮点数精度差异）。

内容的提问来源于stack exchange，提问作者skjerns