多分类逻辑回归模型可学习参数量计算问题

正确的总学习参数量为 1000*100 + 100，1000+100的结果是错误的。

计算依据 #

多分类逻辑回归（即Softmax回归）的可学习参数分为权重、偏置两部分：

• 权重参数：每个输入特征和每个输出类别之间都对应一个独立权重。当前输入属性共1000个，分类类别共100个，权重参数总数为1000 × 100。
• 偏置参数：每个输出类别单独对应1个偏置（截距）项，100个类别合计100个偏置参数。

两部分相加，总参数量就是1000*100 + 100 = 100100。

错误结果的误区 #

1000+100的计算完全不符合模型结构：

• 二分类场景下的逻辑回归，参数量是1000个权重+1个偏置，合计1001个。
• 多分类场景不会跨类别共享所有权重，每个类别都需要专属的一组权重来拟合自身和其他类别的决策边界，不可能仅用1000个权重覆盖100个类别的判断逻辑。

内容的提问来源于stack exchange，提问作者Gopikrishna X Gopalakrishnan