BinaryCrossentropy与SparseCategoricalCrossentropy的区别及二分类CNN选型疑问

两种方案的存在原因 #

• 场景延伸性：BinaryCrossentropy是为二分类量身设计的，完全贴合“二元判定”的逻辑；而SparseCategoricalCrossentropy原本用于多分类，但二分类本质是多分类的特例（仅2个类别），因此也能适配。不少开发者会用这套逻辑覆盖多分类和二分类场景，避免切换损失函数的额外成本。
• 标签适配性：两种方案对应不同的标签格式，有些数据集的标签天然是单值0/1（适配BinaryCrossentropy），有些则习惯用类别索引0/1（适配SparseCategoricalCrossentropy），不用额外转换标签格式。

核心差异 #

输出层与激活函数 #

• BinaryCrossentropy搭配Dense(1)输出层，激活函数用sigmoid，输出单个0-1之间的数值，直接代表样本属于正类的概率。
• SparseCategoricalCrossentropy搭配Dense(2)输出层，激活函数用softmax，输出两个概率值（和为1），分别对应两个类别的概率。

损失计算逻辑 #

• BinaryCrossentropy计算单个输出与真实标签（0/1）的交叉熵，公式为：-y*log(p) - (1-y)*log(1-p)，其中p是正类概率。
• SparseCategoricalCrossentropy计算真实类别索引对应输出概率的负对数：若真实标签为0，取第一个输出概率计算-log(p0)；若为1，则取第二个输出概率计算-log(p1)。

标签要求 #

• 使用BinaryCrossentropy时，标签是单维度的0/1数组（形状如(batch_size,)）。
• 使用SparseCategoricalCrossentropy时，标签同样是单维度的类别索引数组（值为0或1），无需做one-hot编码（这也是它命名为“sparse”的原因）。

最终训练效果 #

在数据和模型结构正确适配的前提下，两种方案的最终效果几乎没有差异：

• 数学上可证明，二分类场景下两种损失函数的计算结果等价，模型训练的梯度更新方向和幅度完全一致。
• 实际训练中可能存在的微小数值误差，不会对最终模型精度产生影响。

内容的提问来源于stack exchange，提问作者Dom R.