如何在多模型输出上执行SoftMax完成一对其余模式的8分类
OvR架构下8个独立二分类器的SoftMax多分类实现
核心处理逻辑
你当前搭建的8个独立二分类器是标准的One-vs-Rest(OvR)多分类架构,每个分类器的职责是判别“样本是否属于自身绑定的专属类别”。要通过这8个分类器的输出完成最终多分类,不能直接对各分类器单独输出的结果做SoftMax,核心逻辑如下:
- 禁止直接将每个二分类器输出的sigmoid概率值拼接后跑SoftMax:sigmoid是独立作用在单分类器输出上的非线性变换,会把每个分类器的原始得分单独压缩到0-1区间,不同分类器的输出尺度会因为各自的训练偏差出现偏移,直接对比会出现结果失真。
- 正确的处理链路是:收集所有二分类器输出的未经过sigmoid激活的原始判别logit值,将同一个样本对应的8个logit组成长度为8的得分向量,再对这个整体向量执行SoftMax计算,得到每个类别的归一化置信度,最终取置信度最高的类别作为预测结果。
- 如果你的二分类器训练时已经在输出层接了sigmoid,输出为0-1区间的概率值,需要先通过sigmoid逆变换还原为对应的原始logit,再执行后续的SoftMax计算。
参考实现代码
下面的代码覆盖两种最常见的工程落地场景,内置了数值稳定性优化:
场景1:二分类器输出未激活的原始logit(训练时最后一层为Linear层,无sigmoid激活)
import torch import torch.nn.functional as F def ovr_multi_predict(x, classifiers): """ x: 待预测样本,形状为 [batch_size, 特征维度] classifiers: 按类别顺序存放的8个已训练二分类器列表,即 [clf_0, clf_1, ..., clf_7] """ logit_bank = [] for clf in classifiers: # 取单个分类器的原始输出,不经过任何激活函数 single_clf_logit = clf(x) logit_bank.append(single_clf_logit.reshape(-1, 1)) # 拼接得到所有样本的8类得分矩阵,形状为 [batch_size, 8] total_logits = torch.cat(logit_bank, dim=1) # 执行SoftMax得到归一化置信度,dim=1表示按类别维度计算softmax softmax_conf = F.softmax(total_logits, dim=1) # 取置信度最高的索引作为最终类别预测 final_pred = torch.argmax(softmax_conf, dim=1) return softmax_conf, final_pred
场景2:二分类器输出为sigmoid激活后的0-1概率值
import numpy as np def ovr_predict_from_sigmoid_output(sigmoid_probs): """ sigmoid_probs: 8个二分类器输出的样本属于对应类别的概率,形状为 [batch_size, 8] 其中第i列的数值为clf_i输出的“样本属于第i类”的概率 """ # 对概率做数值截断,避免log计算时出现0值 clipped_p = np.clip(sigmoid_probs, 1e-7, 1 - 1e-7) # sigmoid逆变换,还原每个概率对应的原始logit restored_logits = np.log(clipped_p / (1 - clipped_p)) # 数值稳定性优化:减去当前样本的最大logit值,避免exp计算溢出 norm_logits = restored_logits - np.max(restored_logits, axis=1, keepdims=True) exp_vals = np.exp(norm_logits) softmax_conf = exp_vals / np.sum(exp_vals, axis=1, keepdims=True) final_pred = np.argmax(softmax_conf, axis=1) return softmax_conf, final_pred
工程注意事项
- SoftMax计算必须做数值稳定性处理:即对每个样本的logit向量先减去向量内的最大值,再计算指数值,避免大值logit导致的数值溢出。
- 如果8个二分类器训练时的类间样本不均衡程度差异较大,可能会出现不同分类器输出logit的尺度偏移,这时候可以在SoftMax之前给每个分类器的输出添加一个可校准的偏置项,进一步匹配不同类别的真实得分分布。
- 单独对单个二分类器的输出做SoftMax没有实际意义,SoftMax的核心作用是在统一尺度下对比所有类别的相对得分,只有将同一样本对应的所有类别得分放在同一组向量里计算,得到的置信度对比才具备分类参考价值。
内容的提问来源于stack exchange,提问作者Leo
相关产品推荐
相关产品推荐

