Spyder IDE运行内存不足报错如何解决？3D医学图像迁移学习训练场景

核心问题定位 #

你的代码存在2个直接触发报错和内存溢出的核心问题：

• 输入尺寸不匹配：图像生成器输出的图像尺寸和VGG16模型要求的输入尺寸不一致，是触发read rectangular错误的主要原因
• 全量预测内存溢出：直接对生成器调用predict()会把所有提取的特征全部加载到内存，叠加原始图像缓存后占满65GB内存

具体解决步骤 #

1. 对齐输入尺寸
   把flow_from_directory的target_size参数调整为和VGG16输入一致的(215,215)，消除形状不匹配问题。
2. 降低批次大小
   将batch_size从32调整为8~16，减少单批次数据的内存占用。
3. 逐批次提取特征并落地存储
   不要直接调用全量predict()，改为逐批次处理，每处理完一个批次就将特征写入硬盘文件，同时清空内存临时变量、手动触发垃圾回收。
4. 清理Spyder缓存
   每次运行代码前清空Spyder工作区的所有残留变量，关闭变量自动备份功能，避免无效内存占用。

修改后参考代码 #

import gc
import h5py
import numpy as np
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.applications import VGG16

batch_size = 8
train_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
        '/home/idu/Desktop/COV19D/train/',
        target_size=(215, 215), # 对齐模型输入尺寸
        batch_size=batch_size,
        classes = ['covid','non-covid'],
        color_mode='grayscale',
        class_mode='binary',
        shuffle=False) # 提取特征不需要打乱，减少开销

SIZE = 215
VGG_model = VGG16(include_top=False, weights=None, input_shape=(SIZE, SIZE, 1))

for layer in VGG_model.layers:
    layer.trainable = False    

# 创建hdf5文件存特征，不占用内存
sample_count = train_generator.samples
feature_shape = VGG_model.output_shape[1:]
with h5py.File('train_features.h5', 'w') as hf:
    hf.create_dataset('features', shape=(sample_count, *feature_shape), dtype=np.float32)
    hf.create_dataset('labels', shape=(sample_count,), dtype=np.int32)
    
    # 逐批次处理
    idx = 0
    for batch_x, batch_y in train_generator:
        batch_features = VGG_model.predict(batch_x, verbose=0)
        batch_len = len(batch_features)
        hf['features'][idx:idx+batch_len] = batch_features
        hf['labels'][idx:idx+batch_len] = batch_y
        idx += batch_len
        # 手动清理内存
        del batch_x, batch_y, batch_features
        gc.collect()
        if idx >= sample_count:
            break

内容的提问来源于stack exchange，提问作者Kenan Morani