如何在langchain_community.llms.Ollama中使用自定义微调Gemma模型

一、将微调后模型转为Ollama兼容格式 #

Ollama加载自定义模型需要遵循特定规范，按以下步骤操作：

1. 从S3下载模型到计算实例指定路径
   以AWS S3为例，用CLI命令将模型文件下载到本地目录（比如/opt/custom-models/gemma-finetuned/）：

   aws s3 cp s3://your-bucket/path/to/finetuned-gemma/ /opt/custom-models/gemma-finetuned/ --recursive
   

   确保下载的文件包含微调后的权重文件（如gemma-2b-finetuned.gguf或原始权重文件）。

2. 创建Ollama的Modelfile
   在模型目录下新建Modelfile文件，示例内容如下（适配Gemma 2B微调模型）：

   FROM /opt/custom-models/gemma-finetuned/gemma-2b-finetuned.gguf
   PARAMETER temperature 0.7
   PARAMETER stop "<end_of_turn>"
   

   • FROM后填写本地模型文件的绝对路径
   • 可根据需求添加temperature、stop tokens等配置参数

3. 在Ollama中注册自定义模型
   进入模型目录，执行命令创建自定义模型（比如命名为gemma-finetuned:2b）：

   ollama create gemma-finetuned:2b -f Modelfile
   

   完成后用ollama list命令确认模型是否注册成功。

二、在LangChain中调用自定义模型 #

直接将自定义模型名称传入langchain_community.llms.Ollama的model参数即可：

from langchain_community.llms import Ollama

llm = Ollama(model="gemma-finetuned:2b")
response = llm.invoke("你的提问内容")
print(response)

三、关于量化处理的说明 #

• 若微调模型已是GGUF格式（量化后格式），无需额外量化；若为原始FP16/FP32权重文件，建议做量化处理——Ollama对GGUF格式支持最优，且量化能大幅降低内存占用、提升推理速度。
• 量化操作可借助llama.cpp的quantize工具，示例命令：

  quantize /opt/custom-models/gemma-finetuned/gemma-2b-finetuned.bin /opt/custom-models/gemma-finetuned/gemma-2b-finetuned.gguf q4_0
  

  q4_0为常用4-bit量化级别，可根据需求选择q5_0、q8_0等其他级别。

内容的提问来源于stack exchange，提问作者Itachi