加载Hugging Face的clip-vit-large-patch14模型时遇路径错误求助

问题根源 #

refs/main是Hugging Face Hub用来追踪模型版本的引用文件，不是目录。你手动将其创建为目录后，代码读取时自然会触发错误。

修复步骤 #

1. 删除错误创建的目录 #

打开终端，执行命令删除手动创建的refs/main目录：

rm -rf /Users/x/.cache/huggingface/hub/models--openai--clip-vit-large-patch14/refs/main

2. 让Hugging Face Hub自动生成正确的模型文件 #

提供两种可行方案：

方案一：用命令行工具修复

先确保安装huggingface-hub，未安装则执行：

pip3 install huggingface-hub

再执行下载命令，强制拉取正确的模型文件和引用：

huggingface-cli download openai/clip-vit-large-patch14 --local-dir /Users/x/.cache/huggingface/hub/models--openai--clip-vit-large-patch14 --local-dir-use-symlinks False

方案二：直接指定本地模型路径

如果你已拥有sd-clip-vit-l14-img-embed_ema_only.ckpt，可跳过Hugging Face缓存，直接在代码中指定本地路径加载：
修改代码中加载CLIP的部分：

# 替换原有的CLIPModel.from_pretrained("openai/clip-vit-large-patch14")
model = CLIPModel.from_pretrained("/你的模型存放路径/sd-clip-vit-l14-img-embed_ema_only.ckpt")
processor = CLIPProcessor.from_pretrained("/对应的CLIP处理器文件路径")

注：如果只有ckpt文件，可能需要先转换为Hugging Face支持的模型格式，或直接通过LDMA配置文件加载，无需使用transformers库的CLIPModel。

3. 检查M1环境的PyTorch兼容性 #

M1芯片需安装适配版本的PyTorch，先卸载旧版本再重装：

pip3 uninstall torch torchvision
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

M1目前推荐使用CPU版本，或PyTorch 1.12及以上支持MPS的版本

4. 验证修复效果 #

完成上述步骤后重新运行代码，若仍有问题，可清空整个模型缓存目录后重新下载：

rm -rf /Users/x/.cache/huggingface/hub/models--openai--clip-vit-large-patch14

之后重新通过代码或命令行拉取模型即可。

内容的提问来源于stack exchange，提问作者lavascone