Malaria数据集训练时模型输入维度不匹配错误求助

问题重现 #

处理Malaria数据集时，执行model.fit触发以下错误：

ValueError: Input 0 of layer "sequential_1" is incompatible with the layer: expected shape=(None, 224, 224, 3), found shape=(224, 224, 3)

问题原因 #

1. 缺失批次维度：Keras模型默认接收带批次维度的输入（(batch_size, height, width, channels)），但当前的train_dataset未设置批量，每次传递的是单张图片（仅(224,224,3)，无批次维度）。
2. 数据集加载错误：调用splits时传入dataset[0]，仅取了数据集的第一个元素而非完整数据集，导致后续处理的是单样本而非数据集对象。
3. 模型输出层激活函数不匹配：二分类任务搭配BinaryCrossentropy损失时，最后一层应使用sigmoid激活（当前用relu，无法输出0-1之间的概率值）。
4. 学习率设置不合理：Adam优化器的学习率设为0.1过大，会导致模型训练不稳定、难以收敛。

解决方案 #

1. 修正数据集加载与批量处理 #

• 传入splits函数完整数据集对象，移除dataset[0]的索引操作。
• 对处理后的数据集添加批量处理，用batch()方法指定合理批量大小（如32、64）。

2. 修正模型输出层激活函数 #

将最后一层的activation='relu'改为activation='sigmoid'，适配二分类任务的损失函数。

3. 调整优化器学习率 #

将Adam的学习率调整为更合理的值（如0.001）。

修改后的完整代码示例 #

数据加载与预处理 #

def splits(dataset, TRAIN_RATIO, VAL_RATIO, TEST_RATIO):
    DATASET_SIZE = len(dataset)
    train_dataset = dataset.take(int(TRAIN_RATIO*DATASET_SIZE))
    val_test_dataset = dataset.skip(int(TRAIN_RATIO*DATASET_SIZE))
    val_dataset = val_test_dataset.take(int(VAL_RATIO*DATASET_SIZE))
    test_dataset = val_test_dataset.skip(int(VAL_RATIO*DATASET_SIZE))
    return train_dataset, val_dataset, test_dataset

TRAIN_RATIO = 0.8
VAL_RATIO = 0.1
TEST_RATIO = 0.1

# 传入完整数据集而非单个元素
train_dataset, val_dataset, test_dataset = splits(dataset, TRAIN_RATIO, VAL_RATIO, TEST_RATIO)

IMG_SIZE = 224
BATCH_SIZE = 32

def resize_rescale(image, label):
    return tf.image.resize(image, (IMG_SIZE, IMG_SIZE))/255.0, label

# 添加批量处理，同时处理验证集和测试集
train_dataset = train_dataset.map(resize_rescale).batch(BATCH_SIZE)
val_dataset = val_dataset.map(resize_rescale).batch(BATCH_SIZE)
test_dataset = test_dataset.map(resize_rescale).batch(BATCH_SIZE)

模型定义与训练 #

from tensorflow.keras.optimizers import Adam
from tensorflow.keras.losses import BinaryCrossentropy
from tensorflow.keras.metrics import Accuracy

model = tf.keras.Sequential([
    tf.keras.layers.InputLayer(input_shape=(IMG_SIZE, IMG_SIZE, 3)),

    tf.keras.layers.Conv2D(filters=6, kernel_size=5, strides=1, padding='valid', activation='sigmoid'),
    tf.keras.layers.MaxPool2D(pool_size=2, strides=2),
    
    tf.keras.layers.Conv2D(filters=16, kernel_size=5, strides=1, padding='valid', activation='sigmoid'),
    tf.keras.layers.MaxPool2D(pool_size=2, strides=2),
    
    tf.keras.layers.Flatten(),
    
    tf.keras.layers.Dense(100, activation='relu'),
    tf.keras.layers.Dense(10, activation='relu'),
    # 修正为sigmoid激活适配二分类
    tf.keras.layers.Dense(1, activation='sigmoid'),
])

model.summary()

# 调整学习率为0.001，替换RMSE为Accuracy更适合二分类任务
model.compile(optimizer=Adam(learning_rate=0.001), 
              loss=BinaryCrossentropy(),
              metrics=[Accuracy()])

# 添加验证集监控训练情况
history = model.fit(train_dataset, epochs=100, verbose=1, validation_data=val_dataset)

额外说明 #

• 确保dataset是通过tf.data.Dataset加载的、包含(image, label)对的完整数据集对象，而非单个样本。
• 添加validation_data=val_dataset可在训练时监控验证集性能，及时发现过拟合问题。

内容的提问来源于stack exchange，提问作者Harsh Kumar Jain