如何将Ollama下载的LLM模型用于llama.cpp？是否需重新下载？

核心结论 #

可以直接复用Ollama已下载的模型，无需重新下载，只需将Ollama的模型文件转换为llama.cpp支持的GGUF格式即可。

操作步骤 #

1. 找到Ollama的模型存储路径 #

Ollama下载的模型默认存在以下目录：

• Linux/macOS：~/.ollama/models/blobs
• Windows：C:\Users\<你的用户名>\.ollama\models\blobs
  目录内的文件以哈希值命名，可通过执行ollama list查看模型对应的ID，匹配到对应的文件。

2. 导出为GGUF格式 #

使用Ollama自带的导出命令，直接将模型转换为llama.cpp兼容的格式：

ollama export <你的模型名> <输出文件名>.gguf

示例：

ollama export llama3:8b llama3-8b.gguf

3. 在llama.cpp中使用 #

将导出的GGUF文件放到llama.cpp的模型目录下，即可通过llama.cpp的命令调用，例如：

./main -m llama3-8b.gguf -p "你的提问内容"

内容的提问来源于stack exchange，提问作者Monet Geoffrey