Databricks配置g4dn.2xlarge实例GPU内存异常，求调整配置参数方案

先理清实例内存的真实情况 #

g4dn.2xlarge标注的32GB是实例总内存（CPU内存+GPU显存的总和），它搭载的NVIDIA T4 GPU实际显存是16GB。报错里显示的14.76GB是系统预留了部分显存后的可用值，这说明你确实在使用g4dn.2xlarge实例的GPU，不是实例配置错了。

验证实例配置是否正确 #

不需要额外修改配置JSON里的实例类型参数，但可以快速验证：

• 查看Databricks作业的运行日志，确认启动的worker和driver节点类型确实是g4dn.2xlarge
• 在Notebook里执行!nvidia-smi命令，直接查看GPU型号和显存总量，确认是T4（16GB显存）

解决CUDA内存不足的实用方法 #

既然实例没问题，内存不够得从PyTorch内存管理和训练配置下手：

• 照着报错提示，设置环境变量PYTORCH_CUDA_ALLOC_CONF，比如加max_split_size_mb:128来缓解内存碎片化
• 调小batch size，别一次性加载太多数据
• 在训练循环的间隙调用torch.cuda.empty_cache()，释放没用的显存
• 开启梯度检查点（gradient checkpointing），用少量计算量换显存空间
• 确认模型、数据都正确移到GPU上，避免CPU和GPU之间频繁的数据交互拖慢还占内存

内容的提问来源于stack exchange，提问作者istewart