如何在分批预取的TensorFlow数据集上计算F1分数并解决形状不兼容报错

1. 解决F1Score的形状不兼容错误 #

这个错误的核心是模型输出形状与标签形状不匹配：你的模型输出是(None,4)（对应4分类的多类别概率/logits），但标签是(None,1)的整数类别索引，而tensorflow-addons的F1Score默认需要适配标签格式，以下两种方法任选其一：

方法一：调整F1Score参数适配整数标签 #

如果你的标签是0-3的整数形式，无需转one-hot，直接修改F1Score参数即可：

import tensorflow_addons as tfa

# num_classes设为你的类别数4，average可选'macro'/'micro'/'weighted'
f1_metric = tfa.metrics.F1Score(num_classes=4, average='macro', threshold=0.5, name='f1_score')

方法二：将标签转为one-hot编码 #

如果希望用one-hot格式的标签，在数据集预处理阶段转换：

def preprocess_data(image, label):
    # 你的图像预处理逻辑（如resize、归一化）
    image = tf.image.resize(image, (224, 224)) / 255.0
    # 把整数标签转成one-hot，深度对应类别数4
    label = tf.one_hot(label, depth=4)
    return image, label

# 应用到所有数据集
train_ds = train_ds.map(preprocess_data, num_parallel_calls=tf.data.AUTOTUNE)
val_ds = val_ds.map(preprocess_data, num_parallel_calls=tf.data.AUTOTUNE)
test_ds = test_ds.map(preprocess_data, num_parallel_calls=tf.data.AUTOTUNE)

2. 解决测试集表现不佳的泛化问题 #

训练/验证准确率94%但测试集拉胯，基本是过拟合导致，从以下几点优化：

• 添加数据增强：在训练集预处理中加入随机变换，提升模型泛化能力

def augment_image(image):
    image = tf.image.random_flip_left_right(image)
    image = tf.image.random_brightness(image, max_delta=0.2)
    image = tf.image.random_contrast(image, lower=0.8, upper=1.2)
    return image

def preprocess_train_data(image, label):
    image = tf.image.resize(image, (224, 224)) / 255.0
    # 仅训练集应用增强
    image = augment_image(image)
    return image, label

train_ds = train_ds.map(preprocess_train_data, num_parallel_calls=tf.data.AUTOTUNE)

• 添加正则化与Dropout：抑制模型对训练数据的过度拟合

from tensorflow.keras import layers, regularizers

model = tf.keras.Sequential([
    layers.Conv2D(32, (3,3), activation='relu', kernel_regularizer=regularizers.l2(0.001)),
    layers.MaxPooling2D(),
    layers.Dropout(0.2),  # 添加Dropout层
    # ... 其他网络层
    layers.Dense(4, activation='softmax', kernel_regularizer=regularizers.l2(0.001))
])

• 调整训练策略：用早停和学习率衰减控制训练过程

from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau

# 早停：验证集loss连续5轮不下降就停止，恢复最优权重
early_stop = EarlyStopping(monitor='val_loss', patience=5, restore_best_weights=True)
# 学习率衰减：验证集loss连续3轮不下降就减半学习率
reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=3)

# 注意损失函数要匹配标签格式：整数标签用sparse_categorical_crossentropy，one-hot用categorical_crossentropy
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.0001),
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy', f1_metric])

history = model.fit(train_ds, validation_data=val_ds, epochs=50, callbacks=[early_stop, reduce_lr])

3. 手动计算F1分数（备用调试方案） #

如果tensorflow-addons的F1Metric还是不好用，可以用sklearn手动计算：

import numpy as np
from sklearn.metrics import f1_score

# 收集测试集的真实标签和模型预测结果
y_true = []
y_pred = []
for images, labels in test_ds:
    preds = model.predict(images, verbose=0)
    y_true.extend(labels.numpy().flatten())  # 转成一维数组
    y_pred.extend(np.argmax(preds, axis=1))  # 取概率最大的类别索引

# 计算不同类型的F1分数
f1_macro = f1_score(y_true, y_pred, average='macro')
f1_weighted = f1_score(y_true, y_pred, average='weighted')
print(f"Macro F1: {f1_macro:.4f}, Weighted F1: {f1_weighted:.4f}")

内容的提问来源于stack exchange，提问作者jaggu ramesh