Keras中Accuracy的计算方式与含义——CNN目标检测场景疑问

为什么默认的Accuracy对你的任务完全不适用 #

首先得明确：Keras自带的Accuracy指标，从设计之初就是给分类任务用的，和目标检测的核心需求根本不搭边。分类任务只需要判断输入属于哪个类别，但目标检测既要判断类别，还要预测目标的位置（Bounding Box）——这俩任务的评价逻辑完全不一样。

Keras默认Accuracy的计算方式（以及为什么它在这里会误导你） #

先说说分类里的Accuracy怎么算：比如你做猫狗分类，模型预测100张图里80张是对的，那Accuracy就是80%——本质是「预测类别和真实类别一致的样本数 ÷ 总样本数」。

但到了你的目标检测任务里，情况就变了：

• 如果你的模型输出包含两部分：类别（比如「有目标/无目标」）和Bounding Box坐标（x,y,w,h），那默认的Accuracy只会盯着类别预测的正确率看，完全不管框的准不准。哪怕你的框偏到姥姥家，只要类别猜对了，它就算这样本是「正确」的。
• 如果你的模型只输出Bounding Box坐标（纯回归任务），那默认Accuracy会做一件很离谱的事：它会去比较预测值和真实值是不是完全相等（或者接近某个极小的阈值）。但坐标是连续值，几乎不可能完全匹配，这时候的Accuracy结果根本没有意义，可能只是某些维度碰巧接近真实值，或者你的标签里混了离散特征才出现的虚假高值。

为什么你会看到Loss4000但Accuracy80%，实际检测却拉胯 #

结合你的情况：你用的是MSE损失函数，它会计算所有输出维度（比如类别+坐标）的误差平方和。如果你的模型类别预测对了80%，但Bounding Box的坐标偏差特别大（比如真实框在左上角，模型预测到右下角），那MSE会因为坐标的大误差变得很高（比如4000），但Accuracy只统计类别正确的比例，所以显示80%。但实际检测时，光类别对没用啊——框不准的话，根本不算检测正确，所以你实际看到的正确率远低于80%。

目标检测应该用什么指标才对 #

别再用默认Accuracy了，换成目标检测专用的指标：

• IoU（交并比）：衡量预测框和真实框的重叠程度，是目标检测最核心的基础指标，一般IoU≥0.5就算检测正确。
• mAP（平均精度均值）：综合不同IoU阈值、不同类别的检测精度，是行业内评估目标检测模型性能的标准指标。

给你一个Keras里自定义IoU指标的简单例子，直接就能用：

import tensorflow as tf
from tensorflow.keras import backend as K

def iou(y_true, y_pred):
    # 假设y_true和y_pred的格式是 [batch_size, x1, y1, x2, y2]
    # 拆分真实框和预测框的坐标
    true_x1, true_y1, true_x2, true_y2 = tf.split(y_true, 4, axis=-1)
    pred_x1, pred_y1, pred_x2, pred_y2 = tf.split(y_pred, 4, axis=-1)
    
    # 计算交集的坐标范围
    inter_x1 = tf.maximum(true_x1, pred_x1)
    inter_y1 = tf.maximum(true_y1, pred_y1)
    inter_x2 = tf.minimum(true_x2, pred_x2)
    inter_y2 = tf.minimum(true_y2, pred_y2)
    
    # 计算交集面积
    inter_area = tf.maximum(0.0, inter_x2 - inter_x1) * tf.maximum(0.0, inter_y2 - inter_y1)
    
    # 计算并集面积
    true_area = (true_x2 - true_x1) * (true_y2 - true_y1)
    pred_area = (pred_x2 - pred_x1) * (pred_y2 - pred_y1)
    union_area = true_area + pred_area - inter_area
    
    # 计算IoU，避免除以0的情况
    iou = tf.where(union_area == 0.0, 0.0, inter_area / union_area)
    return tf.reduce_mean(iou)

然后在模型编译的时候替换掉默认的Accuracy：

model.compile(optimizer='adam', loss='mse', metrics=[iou])

这样训练时输出的指标就会真实反映你的模型框的准不准，而不是光看类别对不对了。

内容的提问来源于stack exchange，提问作者jejjejd