Azure ML计算实例下载Llama-2模型时磁盘空间不足求助

• 确保模型加载时也指定cache_dir
  你当前仅为AutoTokenizer设置了cache_dir，但加载模型权重时（如使用AutoModelForCausalLM.from_pretrained）同样需要传递该参数，否则模型文件仍会下载到默认缓存目录。修改代码如下：

  from transformers import AutoTokenizer, AutoModelForCausalLM
  import torch
  
  model_name = "meta-llama/Llama-2-70b-chat-hf"
  tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=True, cache_dir='/mnt/test')
  # 加载模型时同步指定缓存路径
  model = AutoModelForCausalLM.from_pretrained(
      model_name,
      use_auth_token=True,
      cache_dir='/mnt/test',
      torch_dtype=torch.bfloat16,
      device_map='auto'
  )
  

• 设置全局环境变量强制指定缓存目录
  通过设置HUGGINGFACE_HUB_CACHE环境变量，让所有Hugging Face工具默认使用目标磁盘路径，避免代码中遗漏参数。可在代码开头添加：

  import os
  os.environ['HUGGINGFACE_HUB_CACHE'] = '/mnt/test'
  

  也可以在Azure ML计算实例的全局环境变量配置中设置该值，确保所有会话都生效。

• 清理默认缓存目录释放空间
  若默认缓存目录~/.cache/huggingface/hub已存在冗余文件，可执行以下命令删除以临时释放空间（操作前确认无需保留这些文件）：

  rm -rf ~/.cache/huggingface/hub/*
  

• 验证缓存路径是否生效
  执行以下代码确认当前实际使用的缓存目录：

  from huggingface_hub import get_cache_dir
  print("当前缓存目录:", get_cache_dir())
  

  若输出为/mnt/test，说明配置生效；若仍为默认路径，检查环境变量或代码参数是否被覆盖。

内容的提问来源于stack exchange，提问作者user3043636