将HuggingFace模型转为Ollama后Llama Stack工具调用异常问题

核心问题分析 #

• 量化小模型（llama3.2:3b、llama3.1:8b）工具调用稳定性极差，10次仅约1次成功
• 自行转换的未量化Llama3.2-3B-Instruct在Ollama聊天模式下运行正常，但通过Llama Stack创建的Agent无法调用预设工具/函数

针对Modelfile的关键调整建议 #

1. 强制约束工具调用输出格式 #

原模板未明确限定工具调用的返回格式，需在Modelfile中添加系统提示，要求模型严格遵循JSON格式返回工具调用指令，示例：

SYSTEM """
你需要严格按照指定格式调用工具，输出内容必须为JSON结构：
{"name": "工具名称", "parameters": {"参数名": "参数值"}}
"""

2. 适配Llama Stack的Prompt规范 #

Llama Stack对工具调用的Prompt有专属格式要求，需调整Modelfile的模板结构，确保与框架预期一致，示例：

TEMPLATE """
{{ if .System }}{{ .System }}{{ end }}
{{ range .Messages }}
{{ if eq .Role "user" }}用户：{{ .Content }}{{ end }}
{{ if eq .Role "assistant" }}助手：{{ .Content }}{{ end }}
{{ if eq .Role "tool" }}工具返回：{{ .Content }}{{ end }}
{{ end }}
助手：
"""

3. 优化推理参数提升格式遵循度 #

在Modelfile中添加推理参数，降低输出随机性，强化格式约束：

PARAMETER temperature 0.1
PARAMETER top_p 0.9
PARAMETER stop "助手："

额外排查步骤 #

• 核对Llama Stack中工具的定义，确保工具名称、参数与Modelfile提示中的描述完全匹配
• 测试转换后的模型在Ollama API中是否能正确响应工具调用请求，排除框架集成层面的问题
• 使用官方未量化的Ollama模型做对比测试，确认是否为转换过程中的格式遗漏问题

内容的提问来源于stack exchange，提问作者andrealorenzetti