修改Hugging Face模型检查点存储位置的问题解决

核心原因分析 #

错误里的目标路径checkpoints/ckpt-0/tensor00000_000是相对路径，指向你运行下载命令时的当前工作目录所在磁盘，而非你设置的HF_HOME路径。大概率是当前工作目录所在磁盘空间不足，或者模型保存路径未指定到外部存储。

解决步骤 #

• 明确指定模型保存路径
  下载时直接将模型保存到外部存储的绝对路径，避免使用相对路径。

  • 若用Python的transformers库：

    from transformers import AutoModel, AutoTokenizer
    # 同时指定缓存目录和最终保存目录
    model = AutoModel.from_pretrained(
        "你的模型名称",
        cache_dir="/Volumes/hdd_ext/cache/hub",
        local_dir="/Volumes/hdd_ext/models/你的模型名"
    )
    tokenizer = AutoTokenizer.from_pretrained(
        "你的模型名称",
        cache_dir="/Volumes/hdd_ext/cache/hub",
        local_dir="/Volumes/hdd_ext/models/你的模型名"
    )
    

  • 若用huggingface-cli命令行：

    huggingface-cli download 你的模型名称 \
      --local-dir /Volumes/hdd_ext/models/你的模型名 \
      --cache-dir /Volumes/hdd_ext/cache/hub
    

• 确认HF相关环境变量生效
  仅设置HF_HOME可能不够，需确保缓存相关变量指向外部存储：

  # 终端临时生效
  export HUGGINGFACE_HUB_CACHE="/Volumes/hdd_ext/cache/hub"
  export TRANSFORMERS_CACHE="/Volumes/hdd_ext/cache/hub"
  

  若要永久生效，将上述命令添加到你的shell配置文件（如~/.zshrc或~/.bashrc），然后执行source ~/.zshrc（对应你的配置文件）刷新环境。

• 清理HF缓存的临时文件
  外部存储的HF缓存目录下可能残留未清理的临时文件，手动删除释放空间：

  rm -rf /Volumes/hdd_ext/cache/hub/tmp*
  

• 检查外部存储的权限
  确保当前用户对外部存储有读写权限：

  # 查看权限
  ls -ld /Volumes/hdd_ext
  # 若权限不足，调整（替换你的用户名）
  sudo chown -R 你的用户名:staff /Volumes/hdd_ext
  

内容的提问来源于stack exchange，提问作者disruptive