You need to enable JavaScript to run this app. 如何在多模型输出上执行SoftMax完成一对其余模式的8分类
优惠活动
大模型
产品
解决方案
定价
更多

如何在多模型输出上执行SoftMax完成一对其余模式的8分类

OvR架构下8个独立二分类器的SoftMax多分类实现

核心处理逻辑

你当前搭建的8个独立二分类器是标准的One-vs-Rest(OvR)多分类架构,每个分类器的职责是判别“样本是否属于自身绑定的专属类别”。要通过这8个分类器的输出完成最终多分类,不能直接对各分类器单独输出的结果做SoftMax,核心逻辑如下:

  • 禁止直接将每个二分类器输出的sigmoid概率值拼接后跑SoftMax:sigmoid是独立作用在单分类器输出上的非线性变换,会把每个分类器的原始得分单独压缩到0-1区间,不同分类器的输出尺度会因为各自的训练偏差出现偏移,直接对比会出现结果失真。
  • 正确的处理链路是:收集所有二分类器输出的未经过sigmoid激活的原始判别logit值,将同一个样本对应的8个logit组成长度为8的得分向量,再对这个整体向量执行SoftMax计算,得到每个类别的归一化置信度,最终取置信度最高的类别作为预测结果。
  • 如果你的二分类器训练时已经在输出层接了sigmoid,输出为0-1区间的概率值,需要先通过sigmoid逆变换还原为对应的原始logit,再执行后续的SoftMax计算。

参考实现代码

下面的代码覆盖两种最常见的工程落地场景,内置了数值稳定性优化:

场景1:二分类器输出未激活的原始logit(训练时最后一层为Linear层,无sigmoid激活)

import torch
import torch.nn.functional as F

def ovr_multi_predict(x, classifiers):
    """
    x: 待预测样本,形状为 [batch_size, 特征维度]
    classifiers: 按类别顺序存放的8个已训练二分类器列表,即 [clf_0, clf_1, ..., clf_7]
    """
    logit_bank = []
    for clf in classifiers:
        # 取单个分类器的原始输出,不经过任何激活函数
        single_clf_logit = clf(x)
        logit_bank.append(single_clf_logit.reshape(-1, 1))
    # 拼接得到所有样本的8类得分矩阵,形状为 [batch_size, 8]
    total_logits = torch.cat(logit_bank, dim=1)
    # 执行SoftMax得到归一化置信度,dim=1表示按类别维度计算softmax
    softmax_conf = F.softmax(total_logits, dim=1)
    # 取置信度最高的索引作为最终类别预测
    final_pred = torch.argmax(softmax_conf, dim=1)
    return softmax_conf, final_pred

场景2:二分类器输出为sigmoid激活后的0-1概率值

import numpy as np

def ovr_predict_from_sigmoid_output(sigmoid_probs):
    """
    sigmoid_probs: 8个二分类器输出的样本属于对应类别的概率,形状为 [batch_size, 8]
    其中第i列的数值为clf_i输出的“样本属于第i类”的概率
    """
    # 对概率做数值截断,避免log计算时出现0值
    clipped_p = np.clip(sigmoid_probs, 1e-7, 1 - 1e-7)
    # sigmoid逆变换,还原每个概率对应的原始logit
    restored_logits = np.log(clipped_p / (1 - clipped_p))
    # 数值稳定性优化:减去当前样本的最大logit值,避免exp计算溢出
    norm_logits = restored_logits - np.max(restored_logits, axis=1, keepdims=True)
    exp_vals = np.exp(norm_logits)
    softmax_conf = exp_vals / np.sum(exp_vals, axis=1, keepdims=True)
    final_pred = np.argmax(softmax_conf, axis=1)
    return softmax_conf, final_pred

工程注意事项

  • SoftMax计算必须做数值稳定性处理:即对每个样本的logit向量先减去向量内的最大值,再计算指数值,避免大值logit导致的数值溢出。
  • 如果8个二分类器训练时的类间样本不均衡程度差异较大,可能会出现不同分类器输出logit的尺度偏移,这时候可以在SoftMax之前给每个分类器的输出添加一个可校准的偏置项,进一步匹配不同类别的真实得分分布。
  • 单独对单个二分类器的输出做SoftMax没有实际意义,SoftMax的核心作用是在统一尺度下对比所有类别的相对得分,只有将同一样本对应的所有类别得分放在同一组向量里计算,得到的置信度对比才具备分类参考价值。

内容的提问来源于stack exchange,提问作者Leo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 15:24:03