Keras猫狗分类代码Jupyter Lab报错解决及提速建议

一、解决"The following argument(s) are not supported with the native Keras format: ['options']"报错 #

这个报错源于本地Jupyter Lab环境的TensorFlow/Keras版本与Colab存在差异，原生.keras模型格式在旧版本中对部分参数兼容性不足。可通过以下两种方式解决：

方案1：切换为HDF5格式保存模型 #

修改ModelCheckpoint的文件路径后缀为.h5，旧版本Keras默认支持该格式，无需额外配置：

callbacks = [
    keras.callbacks.ModelCheckpoint(
        filepath="convnet_from_scratch.h5",  # 改为.h5后缀
        save_best_only=True,
        monitor="val_loss")
]

方案2：升级本地TensorFlow版本到与Colab一致 #

先在Colab中执行print(tf.__version__)查看当前版本，再在本地环境执行升级命令：

pip install tensorflow==对应版本号 --upgrade

升级后即可正常使用.keras格式保存模型。

二、代码运行提速建议 #

1. 数据预处理优化 #

• 预加载数据到内存：针对当前小规模数据集，一次性将数据加载到内存，避免训练时频繁读取磁盘：

  import numpy as np
  
  def load_dataset(ds):
      images = []
      labels = []
      for img_batch, label_batch in ds:
          images.append(img_batch.numpy())
          labels.append(label_batch.numpy())
      return np.concatenate(images), np.concatenate(labels)
  
  train_images, train_labels = load_dataset(train_dataset)
  val_images, val_labels = load_dataset(validation_dataset)
  
  # 训练时改用数组输入
  history = model.fit(
      train_images, train_labels,
      epochs=30,
      batch_size=32,
      validation_data=(val_images, val_labels),
      callbacks=callbacks)
  

• 开启多线程与预取：在image_dataset_from_directory中添加参数，利用CPU多核心加速数据读取：

  import tensorflow as tf
  
  train_dataset = image_dataset_from_directory(
      new_base_dir / "train",
      image_size=(180, 180),
      batch_size=32,
      num_parallel_calls=os.cpu_count(),  # 调用所有CPU核心
      prefetch_buffer_size=tf.data.AUTOTUNE)  # 自动调整预取缓存
  

2. 模型结构优化 #

• 使用迁移学习：替换自建CNN为预训练模型（如MobileNetV2），预训练模型已学习通用图像特征，训练速度更快且精度更高：

  base_model = keras.applications.MobileNetV2(
      input_shape=(180,180,3),
      include_top=False,
      weights="imagenet")
  base_model.trainable = False  # 先冻结预训练层
  
  inputs = keras.Input(shape=(180,180,3))
  x = keras.applications.mobilenet_v2.preprocess_input(inputs)
  x = base_model(x, training=False)
  x = layers.GlobalAveragePooling2D()(x)
  outputs = layers.Dense(1, activation="sigmoid")(x)
  model = keras.Model(inputs, outputs)
  

• 精简模型复杂度：若坚持自建CNN，可适当减少卷积层的滤波器数量（如把256改为128），降低计算量。

3. 硬件利用优化 #

• 启用GPU加速：通过print(tf.config.list_physical_devices('GPU'))验证Jupyter Lab是否已配置GPU支持，TensorFlow会自动优先使用GPU计算。
• 开启混合精度训练：减少显存占用并加速训练过程：

  from tensorflow.keras.mixed_precision import set_global_policy
  set_global_policy('mixed_float16')
  

4. 训练策略调整 #

• 添加早停回调：在验证集损失不再下降时自动停止训练，避免无效迭代：

  callbacks = [
      keras.callbacks.ModelCheckpoint(
          filepath="convnet_from_scratch.h5",
          save_best_only=True,
          monitor="val_loss"),
      keras.callbacks.EarlyStopping(
          monitor="val_loss",
          patience=5,  # 连续5轮无下降则停止
          restore_best_weights=True)
  ]
  

• 调整批次大小：在GPU显存允许的前提下，适当增大batch_size（如64、128），提升训练效率。

内容的提问来源于stack exchange，提问作者Bharath