在Slurm中如何获取更多GPU内存？Linux服务器配置疑问

1. 排查容器/集群调度工具的内存限制 #

• Docker环境：检查启动命令是否被强制设置了GPU内存上限，比如是否包含--gpus '"device=0;memory=3G"'这类参数。正确的无限制启动命令示例：

  docker run --gpus all,capabilities=compute,utility --memory=32G --memory-swap=32G your-image
  

  若需指定GPU内存，直接修改memory值即可，比如--gpus '"device=0;memory=10G"'。
• Kubernetes环境：查看Pod配置中的resources.limits.nvidia.com/gpu-memory字段，确认是否被设为3G，修改为所需数值后重新部署Pod。
• Slurm集群：检查任务提交命令中的--gres=gpu:1:mem=3G参数，将mem=3G改为实际需要的内存值，比如mem=10G。

2. 确认GPU硬件与进程占用情况 #

• 执行nvidia-smi查看GPU总内存，若Total Memory本身就是3G，则硬件限制无法突破，需更换更高显存的GPU。
• 检查是否有其他进程占用GPU内存，执行以下命令列出占用GPU的进程：

  nvidia-smi --query-compute-apps=pid,used_memory --format=csv
  

  杀掉无关进程释放内存：kill -9 <pid>。

3. 移除框架层面的内存限制 #

• TensorFlow：检查代码中是否存在手动限制内存的逻辑，比如tf.config.set_per_process_memory_fraction(0.2)这类硬设占比的代码，直接移除即可；保留tf.config.experimental.set_memory_growth(gpu, True)可实现动态显存分配。
• PyTorch：确认代码中没有设置torch.cuda.set_per_process_memory_fraction(0.2)这类限制，若存在则删除。执行torch.cuda.empty_cache()可释放无用缓存，但无法突破内存上限限制。

4. 检查系统级GPU内存配置 #

• MIG模式排查：若GPU支持Multi-Instance GPU（MIG），可能被分割为多个3G的小实例。执行nvidia-smi mig -l查看现有实例，删除实例后创建更大的：

  nvidia-smi mig -dci  # 删除所有MIG实例
  nvidia-smi mig -cgi 19  # 创建10G显存的实例（可通过`nvidia-smi mig -lgip`查看当前GPU支持的实例配置）
  

• 驱动全局限制：检查/etc/nvidia/grub.d/下的配置文件，是否存在nvidia.NVreg_MemoryLimit=3145728（3G对应的字节数），若有则修改数值，执行update-grub后重启系统。

5. 验证修改效果 #

运行一段测试代码验证是否能分配更多内存，以PyTorch为例：

import torch
# 尝试分配10G显存（需根据GPU总内存调整张量大小）
test_tensor = torch.randn(2500, 2500, 250).cuda()
print(f"已分配显存：{torch.cuda.memory_allocated() / 1024**3:.2f}G")

执行后查看nvidia-smi的Used Memory，确认是否突破3G限制。

内容的提问来源于stack exchange，提问作者user18391472