PyCharm虚拟环境中训练后模型无法保存的解决指引

在Windows 10系统的PyCharm 2024虚拟环境中运行音频自动编码器训练代码，完成10个epoch训练后模型未按预期保存，等待1小时仍无结果。数据集包含2万余文件、大小达5GB，无法迁移至Google Colab。

一、修复ModelCheckpoint的核心配置问题 #

• 替换交互式路径输入逻辑：原代码的while True循环会重复触发训练，浪费时间且易引发异常。直接在代码中固定保存路径，并确保目录存在：

  # 替换原有的while循环部分
  checkpoint_path = r"E:\quran\Hindi\Hindi_Translation_Splitter\qari_autoencoder.keras"
  # 提前创建保存目录
  os.makedirs(os.path.dirname(checkpoint_path), exist_ok=True)
  # 添加verbose参数查看保存日志
  checkpoint = ModelCheckpoint(checkpoint_path, monitor='val_loss', save_best_only=True, mode='min', verbose=1)
  autoencoder.fit(X_padded, X_padded, epochs=10, batch_size=16, validation_split=0.2, callbacks=[checkpoint], verbose=1)
  

  verbose=1会打印训练过程和模型保存的触发日志，方便确认保存时机。

• 切换模型保存格式：若TensorFlow版本与.keras格式存在兼容性问题，改用.h5格式尝试：

  checkpoint_path = r"E:\quran\Hindi\Hindi_Translation_Splitter\qari_autoencoder.h5"
  checkpoint = ModelCheckpoint(checkpoint_path, monitor='val_loss', save_best_only=True, mode='min', verbose=1, save_format='h5')
  

二、优化训练流程避免无意义等待 #

• 降低内存占用：2万条Mel谱数据会占用大量内存，导致模型保存时系统卡顿。可先检查内存使用情况，再调整参数：

  import psutil
  process = psutil.Process(os.getpid())
  print(f"数据集加载后内存占用: {process.memory_info().rss / 1024 ** 3:.2f} GB")
  

  若内存占用超过80%，将batch_size减小至8，或改用tf.data.Dataset分批次加载数据：

  # 替换一次性加载为分批次生成器
  def dataset_generator():
      for mel_spec in X:
          padded = pad_sequences([mel_spec], maxlen=max_length)[0]
          yield padded, padded
  
  dataset = tf.data.Dataset.from_generator(
      dataset_generator,
      output_signature=(
          tf.TensorSpec(shape=input_shape, dtype=tf.float32),
          tf.TensorSpec(shape=input_shape, dtype=tf.float32)
      )
  )
  dataset = dataset.batch(16).prefetch(tf.data.AUTOTUNE)
  # 使用dataset训练
  autoencoder.fit(dataset, epochs=10, validation_split=0.2, callbacks=[checkpoint], verbose=1)
  

• 添加保存延迟判断：训练完成后模型保存可能在后台执行，原代码的即时判断会误判保存失败。添加延迟后再验证：

  import time
  autoencoder.fit(...)
  time.sleep(10)  # 等待10秒确保保存完成
  if os.path.exists(checkpoint_path):
      print(f"模型已保存至: {checkpoint_path}")
  else:
      print("模型保存失败")
  

三、排查Windows环境特有问题 #

• 检查文件写入权限：若保存路径在系统盘（如C:\）或受保护文件夹，PyCharm可能无写入权限。将路径改为项目目录或用户文件夹：

  checkpoint_path = os.path.join(os.getcwd(), "qari_autoencoder.keras")
  

  同时确保PyCharm以管理员身份运行。

• 临时关闭实时防护：Windows Defender的实时扫描可能拦截TensorFlow的模型写入操作，导致保存缓慢或失败，可临时关闭后重试。

内容的提问来源于stack exchange，提问作者saad sagheer