如何解决RTX3060运行深度学习模型时的ResourceExhaustedError？

RTX3060的显存容量（通常12GB）远小于CPU内存，出现显存不足错误是常见情况，以下是可落地的解决方法：

1. 调整批量大小（最直接有效） #

• 减小当前批量大小：将batch_size从64逐步下调至32、16甚至8，先确保模型能在GPU上正常运行，再根据实际显存占用逐步调优。
• 用梯度累积模拟大批次效果：如果想保持等效于64的批量训练效果，可设置小批量+梯度累积。例如将batch_size设为16，每累积4次梯度再更新参数，代码示例（PyTorch）：

for step, (x, y) in enumerate(train_loader):
    x, y = x.cuda(), y.cuda()
    outputs = model(x)
    loss = criterion(outputs, y)
    loss.backward()  # 累积梯度
    # 每4步执行一次参数更新
    if (step + 1) % 4 == 0:
        optimizer.step()
        optimizer.zero_grad()

2. 启用混合精度训练 #

通过FP16浮点格式替代默认的FP32，可直接减少约50%的显存占用，同时几乎不损失模型精度：

• PyTorch实现示例：

from torch.cuda.amp import autocast, GradScaler

scaler = GradScaler()
optimizer.zero_grad()
with autocast():
    outputs = model(x)
    loss = criterion(outputs, y)
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

• TensorFlow可直接开启混合精度策略：

from tensorflow.keras.mixed_precision import set_global_policy
set_global_policy('mixed_float16')

3. 优化显存使用细节 #

• 及时清理无用张量：训练过程中用del tensor删除不再使用的中间变量，再调用torch.cuda.empty_cache()（PyTorch）或tf.keras.backend.clear_session()（TensorFlow）清理显存碎片（避免频繁调用，防止影响性能）。
• 关闭GPU显存预分配：PyTorch默认会占用全部可用显存，可通过以下代码限制占用比例：

torch.cuda.set_per_process_memory_fraction(0.8, device=0)  # 限制使用80%的显存

• 检查后台进程：用nvidia-smi命令查看GPU占用情况，关闭占用显存的其他程序（如浏览器硬件加速、其他AI工具）。

4. 模型轻量化优化 #

• 模型剪枝：移除模型中冗余的权重参数，PyTorch可使用torch.ao.quantization模块实现。
• 模型量化：将FP32模型转为INT8格式，大幅降低显存占用和计算量，适合部署和显存紧张的训练场景。

内容的提问来源于stack exchange，提问作者Emir Kutsal