加载GPT2-xl模型时出现No space left on device错误求助

• 临时环境变量设置
  运行代码前在终端设置环境变量，指定缓存目录：

  export TRANSFORMERS_CACHE="/data/username/huggingface_cache"
  

  Windows系统执行：

  set TRANSFORMERS_CACHE="D:\data\username\huggingface_cache"
  

  之后再执行模型加载代码，权重会自动下载到指定路径。

• 代码内指定缓存路径
  调用from_pretrained时直接传入cache_dir参数，仅对当前代码生效：

  model = GPT2Model.from_pretrained('gpt2-xl', cache_dir='/data/username/huggingface_cache')
  

• 全局配置永久修改
  创建或编辑~/.huggingface/huggingface配置文件，添加以下内容：

  [cache]
  path = /data/username/huggingface_cache
  

  后续所有Transformers库的模型都会默认使用这个缓存路径。

如果已经有部分下载的模型文件，可以直接将/home/username/.cache/huggingface/transformers下的文件迁移到新路径，避免重复下载。

内容的提问来源于stack exchange，提问作者nlp4892