如何在Keras中针对非0/1目标值计算交叉熵

1. Keras中能否实现非0/1目标值的交叉熵训练？ #

完全可以，Keras的交叉熵损失函数并没有强制要求目标值必须是0或1，常规的硬标签（0/1）只是最常用的情况。具体实现有两种方式：

• 直接修改目标标签：将原标签中的1替换为0.9，0替换为0.1，直接使用BinaryCrossentropy（二分类）或CategoricalCrossentropy（多分类，需确保from_logits=False，因为输出是sigmoid激活后的结果）。这两个损失函数本质是计算预测概率与目标概率的交叉熵，只要目标值落在[0,1]区间内，就能正常计算。
• 自定义损失函数（可选）：如果需要更灵活的逻辑，可以自行实现交叉熵损失，比如针对二分类场景：

import tensorflow as tf
from tensorflow.keras import backend as K

def custom_sigmoid_crossentropy(y_true, y_pred):
    return K.mean(-y_true * K.log(y_pred) - (1 - y_true) * K.log(1 - y_pred), axis=-1)

该函数与原生BinaryCrossentropy逻辑一致，仅目标值采用软标签（0.1/0.9），可直接作为损失函数传入模型编译环节。

2. 多分类场景下目标值之和大于1是否有问题？ #

这取决于你的业务场景类型：

• 如果是多标签分类场景（样本可同时属于多个类别）：这种做法完全合理，不存在问题。sigmoid输出的每个值代表模型对样本属于对应类别的置信度，目标值设置为0.1/0.9只是避免输出单元饱和，此时目标值之和大于1是正常的——因为样本可能同时符合多个类别的判定标准，不需要类别之间互斥。你将单个输出解读为置信度的逻辑是成立的，即使数学上不构成严格的概率分布，也完全满足业务层面的解读需求。
• 如果是单标签多分类场景（样本仅能属于一个类别）：这种做法会有问题，因为sigmoid不会约束输出和为1，模型可能输出多个高置信度的类别，不符合单标签的互斥约束。但你明确表示不想用softmax而坚持sigmoid，说明你的场景更偏向多标签分类，这种情况下无需担心目标值之和的问题。

内容的提问来源于stack exchange，提问作者JMS