关于Ollama中LLaVA的结构化提示词方案与提示词工程问询

1. LLaVA的结构化提示词方案 #

LLaVA有自己的标准化提示词结构，和Llama2的[INST]/<<SYS>>标签体系不同，它更适配多模态（图文结合）的交互场景：

• 单轮对话基础格式：

  USER: <image>
  {你的具体问题/指令}
  ASSISTANT:
  

  其中<image>是图片内容的占位标记（实际调用时，图片数据通过API的images参数传递，提示文本里保留该标记或直接写自然语言指令均可，Ollama会自动适配LLaVA的处理逻辑）。
• 多轮对话格式：
  保留历史对话的角色标记，示例：

  USER: <image>
  这张图里有什么？
  ASSISTANT: 图中有一只猫坐在沙发上。
  USER: 它的毛色是什么？
  ASSISTANT:
  

  LLaVA通过USER/ASSISTANT的角色区分理解对话上下文，部分基于Llama2微调的LLaVA变体也兼容简化版的[INST]指令格式，但官方推荐使用USER/ASSISTANT结构确保最佳效果。

2. Ollama中LLaVA的提示词工程实践 #

能否直接传入字符串形式的提示词？ #

完全可以。Ollama对LLaVA的提示处理做了适配，你可以直接传入自然语言字符串，也可以严格遵循LLaVA的标准格式。比如curl调用示例：

curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "描述这张图片的内容",
  "images": ["base64编码的图片内容"]
}'

若要贴合LLaVA训练格式，也可写成：

curl http://localhost:11434/api/generate -d '{
  "model": "llava",
  "prompt": "USER: <image>\n描述这张图片的内容\nASSISTANT:",
  "images": ["base64编码的图片内容"]
}'

两种方式都能正常工作，后者在复杂任务下输出可能更稳定。

提示词工程的要点 #

• 明确任务指令：避免模糊表述，比如用“识别图片中所有植物种类并列出”代替“看看这张图”。
• 保留多轮上下文：多轮对话时，要在提示中完整带上之前的USER/ASSISTANT标记与内容，让LLaVA理解上下文关联。
• 约束输出格式：如果需要特定格式（如列表、JSON），可在指令中明确要求，比如“用JSON格式返回图片中物品的名称和数量”。

LangChain的提示词生成功能是否适用？ #

适用。LangChain提供多模态提示模板工具，可轻松构建符合LLaVA格式的提示：

• 示例代码：

  from langchain.prompts import ChatPromptTemplate
  
  template = ChatPromptTemplate.from_messages([
      ("user", "<image>\n{question}"),
      ("assistant", "")
  ])
  prompt = template.format(question="这张图片的场景是什么？")
  

• 结合LangChain的Ollama集成，可直接将生成的提示传递给LLaVA模型，同时处理图片输入，实现多模态任务的自动化提示词管理。

内容的提问来源于stack exchange，提问作者KansaiRobot