如何用不同目标值的两种指标训练单输出Keras模型？

问题背景 #

我用CTC损失训练对齐模型，CTC需要的是无重复标签序列S（长度L）；但为了研究模型行为，还得用逐帧标注序列D（长度N，和观测/模型输出序列长度一致）作为目标，计算categorical_crossentropy指标。模型只有一个输出O（长度N），但损失和指标需要不同维度的目标，而且训练时绝对不能用D更新模型（得把CC损失权重设为0）。不想搞复杂的张量聚合拆分，也不想重写train_step和test_step，想知道用输出名称的字典方法能不能搞定。

可行方案：多输出包装+字典映射 #

这个方法不用额外复制计算图，只是给原输出加个“别名”，配合字典配置损失和指标就行：

1. 给原输出加命名包装 #

把原模型的输出包装成两个带名字的输出，实际共享同一个计算结果，不会增加计算量：

from tensorflow import keras

# 假设你已经有了训练用的原模型model
input_layer = model.input
original_output = model.output

# 用Lambda层给输出加不同名称，实现"伪多输出"
ctc_output = keras.layers.Lambda(lambda x: x, name='ctc_output')(original_output)
cc_output = keras.layers.Lambda(lambda x: x, name='cc_output')(original_output)

# 构建包装后的多输出模型
wrapped_model = keras.Model(inputs=input_layer, outputs=[ctc_output, cc_output])

2. 配置损失、权重和指标 #

用字典指定每个输出对应的损失，把CC损失的权重设为0，确保它不影响训练梯度；同时只在CC输出上配置评估指标：

# 先定义适配的CTC损失函数（根据你的实际需求补充参数）
def ctc_loss(y_true, y_pred):
    return keras.backend.ctc_batch_cost(y_true, y_pred, ...)  # 替换为你的序列长度等参数

# 字典配置各输出对应的损失
losses = {
    'ctc_output': ctc_loss,
    'cc_output': keras.losses.CategoricalCrossentropy()
}

# 损失权重：把CC损失的权重设为0，训练时完全不参与梯度更新
loss_weights = {
    'ctc_output': 1.0,
    'cc_output': 0.0
}

# 字典配置指标：只在cc_output上计算分类准确率
metrics = {
    'cc_output': [keras.metrics.CategoricalAccuracy(name='cc_acc')]
}

# 编译模型
wrapped_model.compile(
    optimizer='adam',
    loss=losses,
    loss_weights=loss_weights,
    metrics=metrics
)

3. 训练和评估时传入目标 #

用字典传入对应维度的目标，清晰对应到各个输出：

# 训练时的调用示例
wrapped_model.fit(
    x=你的输入数据,
    y={
        'ctc_output': 无重复标签序列S,
        'cc_output': 逐帧标注序列D
    },
    epochs=10,
    batch_size=32
)

# 评估时同理
eval_results = wrapped_model.evaluate(
    x=你的输入数据,
    y={
        'ctc_output': S,
        'cc_output': D
    }
)

方案优势 #

• 两个命名输出共享同一计算张量，完全不增加额外计算开销，只是给输出加了标识
• CC损失权重设为0后，它的梯度会被清零，彻底不影响模型训练，只用来计算指标
• 字典式的目标映射完美适配不同维度的目标，不用搞复杂的张量拼接拆分

轻量替代方案：自定义Metric #

如果不想包装多输出，也可以自定义一个Metric，直接在计算时调用逐帧标注D，但需要调整数据输入管道：

class CCAccuracy(keras.metrics.Metric):
    def __init__(self, name='cc_acc', **kwargs):
        super().__init__(name=name, **kwargs)
        self.acc = keras.metrics.CategoricalAccuracy()

    def update_state(self, y_true, y_pred, sample_weight=None):
        # 这里需要把当前batch的逐帧标注D传进来，比如把D作为模型的额外输入
        self.acc.update_state(D, y_pred, sample_weight)

    def result(self):
        return self.acc.result()

    def reset_state(self):
        self.acc.reset_state()

但这个方案需要修改数据输入逻辑，不如多输出包装的方式直观。

内容的提问来源于stack exchange，提问作者A Roebel