微调大Transformer模型如何降低GPU内存占用？CUDA OOM问题求解

梯度检查点与混合精度能否解决你的问题？ #

• 梯度检查点：可以缓解甚至解决内存不足问题。它通过反向传播时重新计算部分中间激活值，替代全程存储激活的方式，能释放大量显存，但会让训练速度变慢15%-20%。用Hugging Face Transformers框架的话，一行代码就能开启：model.gradient_checkpointing_enable()。
• 混合精度：几乎肯定能解决问题。它将大部分参数和激活从FP32格式转为FP16存储，显存占用直接减半，还能借助GPU的Tensor Core加速训练。在PyTorch里可以用torch.cuda.amp的自动混合精度上下文管理器，或者在Hugging Face Trainer中直接设置fp16=True。

大Transformer微调的显存优化实用方法 #

• 参数高效微调（PEFT）：比如LoRA、Adapter这类方法，只训练模型中不到1%的参数，显存需求直接砍到原来的1/10左右，还基本不会损失模型性能。以LoRA为例，只需给模型添加对应配置即可，无需改动主体参数。
• 梯度累积替代大batch：如果batch size 8仍超显存，先把batch size降到4、2甚至1，再设置gradient_accumulation_steps=2（等效batch size还是8），完全不影响训练效果，只是训练时间会按累积步数比例增加。
• 冻结非必要参数：把不需要训练的层（比如Transformer的大部分编码器层）设置为requires_grad=False，只训练分类头或特定层，省掉大量梯度计算带来的显存占用。
• CPU/offloading：用accelerate或bitsandbytes工具把部分模型参数挪到CPU内存，适合显存极小的场景，缺点是会增加GPU-CPU的数据传输开销，导致训练变慢。
• 模型量化：用4位/8位量化加载模型（比如bitsandbytes的load_in_4bit=True），显存占用直接降低75%/50%，对微调性能的影响微乎其微。
• 缩短输入序列长度：如果任务允许，把输入文本的最大长度从512/1024调整为256，Transformer注意力层的显存占用和序列长度呈平方级相关，这么改能节省大量显存。

内容的提问来源于stack exchange，提问作者Colin Leede