Amazon SageMaker实例存储空间不足问题求助

问题原因 #

你添加的2TB存储空间大概率没被Hugging Face的模型缓存目录使用，默认情况下Hugging Face会把模型缓存到实例的根目录磁盘（通常空间很小，仅几十GB），导致加载大模型时触发磁盘不足错误。

解决步骤 #

• 第一步：确认磁盘挂载路径
  执行以下命令查看当前磁盘使用情况和挂载点：

  df -h
  

  找到你新增的2TB磁盘对应的挂载路径（比如/data或其他自定义路径）。

• 第二步：修改Hugging Face缓存目录到大容量磁盘
  在Python代码最开头添加环境变量配置，指定缓存目录到挂载的大磁盘：

  import os
  # 替换成你找到的大磁盘挂载路径
  os.environ["TRANSFORMERS_CACHE"] = "/data/huggingface_cache"
  os.environ["HF_HOME"] = "/data/huggingface_cache"
  # 确保目录存在，不存在则创建
  os.makedirs(os.environ["TRANSFORMERS_CACHE"], exist_ok=True)
  

  配置完成后再执行模型加载代码。

• 第三步：清理旧缓存释放空间
  如果之前已经在小磁盘缓存了部分模型文件，执行以下命令删除旧缓存：

  rm -rf ~/.cache/huggingface
  

• 额外检查：确认实例临时磁盘
  若仍报错，检查/dev/shm的空间（PyTorch可能会用此处做临时存储），执行df -h /dev/shm查看，若空间不足，可通过SageMaker实例配置增加临时磁盘大小，或在代码中添加：

  torch.multiprocessing.set_sharing_strategy('file_system')
  

内容的提问来源于stack exchange，提问作者Wolfy