基于VGG16的train_generator预测值与真实标签对比问题求解

问题根源 #

next(train_generator) 仅会读取生成器的1个批次数据，你看到的长度50就是生成器初始化时设置的batch_size参数值，因此只能拿到单批次样本，无法覆盖全量2907条训练数据。

解决方案 #

有两种常用实现方式：

方式1：手动迭代全量批次 #

适合所有版本的生成器场景，可控性更高：

import numpy as np

# 第一步：重置生成器、关闭乱序
# 重置确保从第1个样本开始迭代，关闭shuffle避免样本顺序错乱导致标签不匹配
train_generator.reset()
train_generator.shuffle = False

# 计算总迭代步数：总样本数/批次大小 向上取整
total_steps = np.ceil(train_generator.n / train_generator.batch_size).astype(int)

all_pred_labels = []
all_true_labels = []

for _ in range(total_steps):
    X_batch, y_batch = next(train_generator)
    # 预测当前批次
    batch_pred = net_final.predict(X_batch, batch_size=BATCH_SIZE, verbose=0)
    # 转换为类别标签存入列表
    all_pred_labels.extend(np.argmax(batch_pred, axis=1))
    all_true_labels.extend(np.argmax(y_batch, axis=1))

# 转为numpy数组方便后续统计计算
all_pred_labels = np.array(all_pred_labels)
all_true_labels = np.array(all_true_labels)

# 校验样本数量
print(f"总预测样本数：{len(all_pred_labels)}")
print(f"总真实标签样本数：{len(all_true_labels)}")

方式2：直接调用predict传入生成器（TensorFlow 2.x 适用） #

TensorFlow 2.x的model.predict原生支持传入数据生成器，代码更简洁：

import numpy as np

# 同样先重置生成器、关闭乱序
train_generator.reset()
train_generator.shuffle = False

total_steps = np.ceil(train_generator.n / train_generator.batch_size).astype(int)
# 直接传入生成器预测全量数据
all_preds = net_final.predict(train_generator, steps=total_steps, verbose=0)
all_pred_labels = np.argmax(all_preds, axis=1)

# 直接从生成器读取全量真实标签
# 如果你的标签是整数格式而非独热编码，直接用 all_true_labels = train_generator.labels
all_true_labels = np.argmax(train_generator.labels, axis=1)

注意事项 #

• 一定要设置train_generator.shuffle = False，否则生成器迭代时会随机打乱样本顺序，导致预测结果和真实标签的顺序不匹配
• 如果后续要排查过拟合，建议同时统计训练集、验证集的准确率、混淆矩阵，能更直观判断过拟合程度

内容的提问来源于stack exchange，提问作者Cocogne