在Keras Sequential模型中为多通道ndarray输出结合两种损失函数

我明白你的需求：你的CNN输出是LENGTH×WIDTH×34的网格，前10通道是分类任务（需要带类别权重的交叉熵），后24通道是3D bounding box回归（需要MSE损失）。下面我会帮你修改自定义损失函数，把这两种损失合理结合起来。

首先，我们需要完成这几件核心事情：

• 从真实标签和预测结果中拆分出分类通道（前10个）和回归通道（后24个）
• 对分类通道应用你已经实现的加权分类交叉熵损失
• 对回归通道应用均方误差损失
• 将两个损失按任务需求加权后合并为总损失

下面是修改后的完整代码，关键部分我会加注释说明：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import backend as K

def weightedHybridLoss(class_weights, bbox_loss_weight=1.0):
    """
    结合加权分类交叉熵和MSE的混合损失函数
    参数:
        class_weights: 分类任务的类别权重列表，对应前10个通道的10个类别
        bbox_loss_weight: 回归损失的权重系数，用于平衡分类和回归任务的损失贡献
    """
    def lossFunc(true, pred):
        # 拆分通道：前10个是分类部分，后24个是bbox回归部分
        # 注意：这里假设你的通道是last模式（channels_last），如果是channels_first，需要调整axis
        true_class = true[..., :10]
        pred_class = pred[..., :10]
        true_bbox = true[..., 10:]
        pred_bbox = pred[..., 10:]
        
        # --- 1. 计算加权分类交叉熵损失 ---
        axis = -1  # channels_last模式下的类别轴
        # 获取真实标签的类别索引（用K.argmax，避免numpy操作在图模式下出错）
        class_selectors = K.argmax(true_class, axis=axis)
        
        # 生成每个类别的选择掩码（替换原来的numpy ones，改用Keras张量操作）
        class_selectors = [K.equal(K.cast(i, K.int64), class_selectors) for i in range(len(class_weights))]
        # 转换为浮点型用于计算
        class_selectors = [K.cast(sel, K.floatx()) for sel in class_selectors]
        
        # 生成每个样本的权重乘数
        weight_multiplier = class_selectors[0] * class_weights[0]
        for i in range(1, len(class_weights)):
            weight_multiplier += class_selectors[i] * class_weights[i]
        
        # 计算分类交叉熵，然后乘以权重
        class_loss = keras.losses.categorical_crossentropy(true_class, pred_class)
        class_loss = class_loss * weight_multiplier
        # 对分类损失在空间维度（LENGTH×WIDTH）上取平均，保证损失尺度稳定
        class_loss = K.mean(class_loss)
        
        # --- 2. 计算bbox回归的MSE损失 ---
        bbox_loss = keras.losses.mean_squared_error(true_bbox, pred_bbox)
        # 同样对空间维度取平均
        bbox_loss = K.mean(bbox_loss)
        
        # --- 3. 合并两个损失，可通过bbox_loss_weight调整权重 ---
        total_loss = class_loss + bbox_loss_weight * bbox_loss
        return total_loss
    return lossFunc

关键细节说明： #

1. 通道拆分逻辑：用[..., :10]和[..., 10:]提取分类和回归部分是channels_last模式的写法；如果你的模型是channels_first（比如输入维度为(34, LENGTH, WIDTH)），需要改成[:, :10, ...]和[:, 10:, ...]，同时把类别轴axis设为1。
2. 替换numpy操作：把原来的np.ones换成K.cast(i, K.int64)，避免在TensorFlow图模式下出现类型不兼容的问题（numpy数组无法参与图计算流程）。
3. 损失平衡调整：通过bbox_loss_weight参数可以灵活调整回归损失在总损失中的占比——比如如果bbox回归任务更重要，你可以把这个值设为2.0；如果分类任务优先级更高，就设为0.5，具体可以根据训练过程中的效果微调。
4. 损失聚合方式：对分类和回归损失分别在空间维度（LENGTH×WIDTH）上取平均，这样总损失的尺度更稳定；如果你的任务需要，也可以改成求和（K.sum）。

使用示例： #

假设你的类别权重列表是class_weights = [1.0, 3.0, 2.5, ...]（共10个元素，对应10个类别的权重），bbox损失权重设为1.5，那么在编译模型时可以这样调用：

model.compile(
    optimizer='adam',
    loss=weightedHybridLoss(class_weights=class_weights, bbox_loss_weight=1.5)
)

这样你的模型就会同时优化带类别权重的分类损失和bbox回归的MSE损失了。

内容的提问来源于stack exchange，提问作者user1953366