咨询：Keras中loss function与metric的区别及相关困惑

我太懂这种摸不着头脑的感觉了——刚入坑Keras的时候，我对着loss和metric这俩概念盯了半天，官方文档讲得太干，完全get不到核心差异。咱们用大白话把它俩掰清楚：

1. 核心角色：一个管训练，一个管打分 #

• Loss Function（损失函数）：是模型的「专属教练」。它的核心任务是计算模型预测值和真实值之间的误差，然后把这个误差反馈给模型，指导模型调整权重（也就是反向传播的核心依据）。简单说，loss是模型训练的「指挥棒」——它直接决定了模型每一步该往哪个方向优化。比如你用categorical_crossentropy，它就是那个告诉模型“你这次预测错得有多离谱，该怎么改”的角色。
• Metric（指标）：是模型的「场外裁判」。它完全不参与训练过程，只负责在训练/验证结束后，给模型的表现打个分，帮你判断模型是不是真的学到东西了。比如accuracy（准确率）、precision（精确率）这些，都是用来直观展示模型性能的，你就算把metric全删掉，模型照样能正常训练——只是你看不到训练效果的直观数值而已。

2. 是否影响模型训练 #

• Loss是反向传播的核心输入，每一批次（batch）训练都会计算loss，然后自动微分算出梯度，更新模型权重。没有loss，模型根本不知道该怎么调整自己。
• Metric的计算完全独立于训练流程，它的存在只是为了给开发者提供参考。就算你把metric去掉，模型的训练逻辑不会有任何变化。

3. 计算与展示的时机 #

• Loss会在每一批次训练后计算一次，训练过程中你会看到loss（训练集损失）和val_loss（验证集损失）的变化——通过这两个值，你可以判断模型是不是过拟合（比如val_loss突然上升但loss还在下降）或者欠拟合（loss和val_loss都居高不下）。
• Metric可以在每批次后计算，也可以在整个epoch结束后计算（取决于自定义逻辑），通常会和loss一起显示，比如accuracy和val_accuracy。有时候你会遇到loss下降但准确率没提升的情况，这时候metric就能帮你发现问题——比如模型在拟合噪声，而不是真正学到了数据规律。

4. 自定义时的差异 #

• 自定义Loss的时候，你需要确保函数输出是一个标量（或者能被Keras自动聚合为标量的张量），因为反向传播需要基于这个数值计算梯度。举个简单的例子：

def custom_mse_loss(y_true, y_pred):
    return keras.backend.mean(keras.backend.square(y_true - y_pred))

• 自定义Metric的时候，你可以更灵活，甚至可以跟踪多个中间统计值，最后输出你想要的评估结果。Keras提供了Metric基类来简化这个过程，比如自定义一个针对多分类的准确率：

class MultiClassAccuracy(keras.metrics.Metric):
    def __init__(self, name='multi_acc', **kwargs):
        super().__init__(name=name, **kwargs)
        self.correct_predictions = self.add_weight(name='correct', initializer='zeros')
        self.total_predictions = self.add_weight(name='total', initializer='zeros')

    def update_state(self, y_true, y_pred, sample_weight=None):
        # 把one-hot编码的真实值和预测值转成类别索引
        y_true_idx = keras.backend.argmax(y_true, axis=1)
        y_pred_idx = keras.backend.argmax(y_pred, axis=1)
        # 统计正确预测的数量
        matches = keras.backend.equal(y_true_idx, y_pred_idx)
        self.correct_predictions.assign_add(keras.backend.sum(matches))
        self.total_predictions.assign_add(keras.backend.cast(keras.backend.shape(y_true)[0], 'float32'))

    def result(self):
        return self.correct_predictions / self.total_predictions

一个直观的场景例子 #

假设你在训练一个猫狗分类模型：

• 用binary_crossentropy当损失函数：它会告诉模型“这张图你预测成猫，但实际是狗，误差有多大，该怎么调整权重才能下次猜对”。
• 用accuracy当指标：它会在每轮训练后告诉你“这一轮里，模型猜对了多少张猫狗图片”。
  训练过程中，你会看到loss逐渐下降，accuracy逐渐上升——loss下降说明模型在朝着正确方向调整，accuracy上升说明模型的预测确实越来越准了。

内容的提问来源于stack exchange，提问作者Zaratruta