PyTorch CUDA内存不足异常：剩余内存充足却报错

你的问题核心是CUDA内存碎片化：虽然GPU总空闲内存充足，但PyTorch的内存分配器找不到一块连续的20MiB内存块来满足分配请求，这也是报错里提示设置max_split_size_mb的原因。结合你的场景，以下是具体解决办法：

• 配置内存分配器参数
  设置PYTORCH_CUDA_ALLOC_CONF环境变量，调整内存分配策略来减少碎片：

  export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128
  

  或者在Python代码开头添加：

  import os
  os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'max_split_size_mb:128'
  

  你可以根据实际情况调整max_split_size_mb的值（比如64、256），找到最优配置。

• 主动清理内存碎片
  通过Trainer的回调函数，在合适时机触发内存清理，比如每个epoch结束后：

  from transformers import TrainerCallback
  import torch
  
  class MemoryCleanupCallback(TrainerCallback):
      def on_epoch_end(self, args, state, control, **kwargs):
          torch.cuda.empty_cache()
          torch.cuda.reset_max_memory_allocated()
  
  # 初始化Trainer时添加回调
  trainer = Trainer(
      model=model,
      args=training_args,
      train_dataset=train_dataset,
      callbacks=[MemoryCleanupCallback()]
  )
  

  注意不要过于频繁调用empty_cache()，避免影响训练性能。

• 排查重构后的代码变化

  • 检查数据集预处理逻辑：是否新增了大张量的中间计算、是否将不必要的数据加载到GPU；
  • 核对Trainer参数：是否关闭了之前启用的fp16混合精度训练（混合精度能大幅降低内存占用）、gradient_accumulation_steps是否被意外修改；
  • 确认模型结构：重构后是否调整了模型的隐藏层维度、新增了模块，导致单样本内存占用增加。

• 详细分析内存使用
  在报错前添加内存打印代码，定位具体的内存占用点：

  print(torch.cuda.memory_summary(device=None, abbreviated=False))
  

  这份报告能展示内存分配的细节，帮助你找到哪些部分占用了连续内存块。

内容的提问来源于stack exchange，提问作者BloodthirstyPlatypus