使用CalibratedClassifierCV+GaussianNB时predict_proba返回无穷概率问题

我之前处理过好几个类似的案例，这个问题本质是GaussianNB的概率计算特性和CalibratedClassifierCV的校准逻辑碰在一起产生的数值溢出问题，咱们一步步拆解：

核心原因 #

GaussianNB是基于贝叶斯定理计算概率的，当测试集中某个样本的特征在训练集的某一类里完全没有出现过，或者特征取值的分布极端偏离训练集时，它会算出绝对0或者接近1的概率。而CalibratedClassifierCV的校准过程（比如默认的Platt缩放）会对这些概率做对数运算，0的对数就是-inf，1的对数在数值计算中会趋近于inf，最终就输出了异常的概率数组。

另外，哪怕你已经用np.isfinite检查过输入，输入本身没问题，但概率计算的数值溢出是模型内部运算导致的，输入检查查不出来。

可行的解决方案 #

1. 给GaussianNB加平滑（最推荐） #

GaussianNB自带一个var_smoothing参数，默认是1e-9，它的作用是给所有特征的方差加上一个小值，避免计算出绝对0的概率。你可以调大这个值，比如1e-5或者1e-6，就能解决溢出问题：

from sklearn.naive_bayes import GaussianNB
from sklearn.calibration import CalibratedClassifierCV

# 初始化带平滑的GaussianNB
gnb = GaussianNB(var_smoothing=1e-5)
# 传入校准器
calibrated_clf = CalibratedClassifierCV(base_estimator=gnb, cv=5)
calibrated_clf.fit(X_train, y_train)

# 再调用predict_proba就不会有inf了
probs = calibrated_clf.predict_proba(X_test)

2. 更换校准方法 #

如果平滑后还是有问题，可以试试把校准方法从默认的sigmoid（Platt缩放）换成isotonic（等渗回归）。不过要注意，isotonic校准需要更多的样本量，样本少的话可能会过拟合：

calibrated_clf = CalibratedClassifierCV(base_estimator=gnb, method='isotonic', cv=5)

3. 手动裁剪极端概率 #

如果上面两种方法都不适用，你可以在获取概率后手动把极端值裁剪到一个合理的范围，比如1e-10到1-1e-10之间，这样既能避免inf，也不影响后续的brier_score_loss计算：

import numpy as np

probs = calibrated_clf.predict_proba(X_test)
# 裁剪极端值
probs_clipped = np.clip(probs, 1e-10, 1 - 1e-10)
# 再计算brier分数
from sklearn.metrics import brier_score_loss
brier = brier_score_loss(y_test, probs_clipped[:, 1])

4. 检查特征分布 #

最后，你可以排查下测试集的特征是否和训练集差异过大，比如某些特征在训练集中的取值范围是[0, 10]，但测试集中出现了1000这种极端值。这种情况可以对特征做归一化（比如StandardScaler）或者截断处理，避免GaussianNB计算出极端概率。

验证步骤 #

你可以先单独用GaussianNB的predict_proba(X_test)看看是否有0或者1的概率值，如果有的话，那就是GaussianNB的概率计算问题，调大var_smoothing就能解决。

内容的提问来源于stack exchange，提问作者Fimpellizzeri