Ollama技术问询：如何让LLM基于给定上下文准确回答文档问题？

• 适配模型专属的提示词格式
  不同模型对提示格式的敏感度差异很大，比如Llama3必须严格遵循官方指定的对话标记，Phi3也有偏好的指令结构。给Llama3构造提示时，按这个格式来：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
只根据提供的文档内容回答问题，不准用外部知识瞎编。
<|eot_id|><|start_header_id|>user<|end_header_id|>
文档内容：[你的文档文本]
问题：[用户问题]
<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Phi3可以用更简洁的格式，但要明确区分各部分：

系统：仅基于给定文档回答问题，禁止使用外部信息。
文档：[你的文档文本]
用户：[问题内容]
助手：

• 调整上下文窗口与核心参数
  M1 8GB内存能跑7B模型，但默认上下文窗口可能不够用。可以自定义模型配置文件来扩容（别超硬件上限），比如建个Llama3-custom.Modelfile：

FROM llama3
PARAMETER context-window 8192
PARAMETER num_ctx 8192
SYSTEM "你是专门做文档问答的，只看给的文档内容作答"

然后执行ollama create llama3-docqa -f Llama3-custom.Modelfile生成自定义模型，再用ollama run llama3-docqa启动。同时把temperature调到0.1-0.3，让模型别瞎发散，聚焦给定内容。

• 优化文档注入的结构
  别直接把大段文档堆在提示最前面，用明确的分隔符区分文档和问题，比如：

参考文档： #

[文档内容] #

请基于上面的文档回答：[你的问题]
如果文档太长，先让模型生成个摘要，再把摘要和问题一起喂进去，减少上下文压力。

• 检查Ollama版本与模型权重
  先确保Ollama是最新版，旧版本可能有兼容性问题，执行ollama update更新。然后重新拉取Llama3和Phi3的模型，避免权重损坏：ollama pull llama3、ollama pull phi3。

• 试试检索增强（RAG）简化上下文
  如果文档很长，单纯塞上下文效果有限，就用RAG先拆文档成向量片段，查询时只把和问题相关的片段传给模型，减少无关信息干扰。可以用Ollama自带的RAG工具，或者自己写个简单的向量检索逻辑，只给模型喂有用的内容。

内容的提问来源于stack exchange，提问作者tone7