Apptainer容器无法利用GPU运行的问题求助

一、GPU不工作的排查方向 #

• 确认脚本内设备逻辑实际生效
  容器里的torch.device代码不一定真的在运行时生效，建议在脚本的设备定义后加打印：print(f"当前使用设备: {device}")，模型和数据迁移后也打印它们的设备信息（比如print(model.device)、print(data.device)），看是否确实识别到CUDA。有可能脚本里的分支逻辑覆盖了device设置，或者数据加载环节没正确转设备。

• 检查Apptainer的GPU参数传递
  你用了--nv，但可以补充--env NVIDIA_VISIBLE_DEVICES=all（注意是NVIDIA开头，Apptainer对应这个环境变量），修改后的command如下：

  command = [apptainer_path, "exec", "--nv", "--env", "NVIDIA_VISIBLE_DEVICES=all", "--bind", f"{patient_path}:/data", "--pwd", "/app", container_path, "python", script_path]
  

  另外要确认宿主机驱动版本和容器内CUDA版本兼容，比如容器用CUDA11.7，宿主机驱动至少要450.80.02以上。

• 对比环境变量差异
  手动执行命令和subprocess调用的环境可能不一样，在容器内脚本里打印关键环境变量：

  import os
  print("NVIDIA_VISIBLE_DEVICES:", os.environ.get('NVIDIA_VISIBLE_DEVICES'))
  print("CUDA_VISIBLE_DEVICES:", os.environ.get('CUDA_VISIBLE_DEVICES'))
  

  同时在subprocess.run里加上env=os.environ.copy()，确保继承宿主机环境：

  subprocess.run(command, env=os.environ.copy())
  

• 检查GPU资源状态
  用nvidia-smi查看宿主机GPU是否被其他进程占用，确保有空闲资源。如果是在集群环境，还要确认是否已经申请到GPU节点。

二、批量处理目录的优化方案 #

如果想一次性处理整个目录而非逐个启动容器，可以按以下方式修改：

1. 绑定整个目录并修改容器内脚本 #

• 外部脚本修改绑定路径，直接把base_dir绑定到容器内：

  command = [apptainer_path, "exec", "--nv", "--bind", f"{base_dir}:/data_all", "--pwd", "/app", container_path, "python", script_path]
  

• 容器内的entrypoint脚本修改为遍历/data_all下的患者目录：

  import os
  import torch
  
  device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
  print(f"当前使用设备: {device}")
  
  base_dir = "/data_all"
  for patient_dir in os.listdir(base_dir):
      patient_path = os.path.join(base_dir, patient_dir)
      if not os.path.isdir(patient_path):
          continue
      # 原有患者处理逻辑
      print(f"处理患者: {patient_dir}")
      # ... 你的业务代码
  

  这样只启动一次容器，减少启动开销，也避免多次启动可能的环境问题。

2. 保留外部循环的并行优化 #

如果必须逐个处理患者目录，可以用多进程并行（注意控制进程数，避免GPU内存溢出）：

import subprocess
import os
from multiprocessing import Pool

base_dir = "path/to/files"
apptainer_path = "path/to/apptainer"
container_path = "path/to/sif"
script_path = "/path/to/entrypoint"

def process_patient(patient_dir):
    patient_path = os.path.join(base_dir, patient_dir)
    if not os.path.isdir(patient_path):
        return
    command = [apptainer_path, "exec", "--nv", "--bind", f"{patient_path}:/data", "--pwd", "/app", container_path, "python", script_path]
    subprocess.run(command)

if __name__ == "__main__":
    patient_dirs = [d for d in os.listdir(base_dir) if os.path.isdir(os.path.join(base_dir, d))]
    # 根据GPU数量设置进程数，单GPU建议设为1，多GPU可对应数量
    with Pool(processes=1) as pool:
        pool.map(process_patient, patient_dirs)

内容的提问来源于stack exchange，提问作者student