如何让privateGPT仅基于本地文档而非模型固有知识回答问题？

你遇到的问题核心在于privateGPT的默认逻辑没有严格限制模型只能使用本地检索到的上下文，具体原因和解决方向如下：

• 默认prompt缺少强制约束
  privateGPT自带的prompt模板一般只是把检索到的本地文档内容传给模型，但没明确要求“如果上下文里找不到答案就说不知道”。比如默认prompt可能是：

  使用以下上下文回答问题：{context}
  问题：{question}

  这种情况下，当检索到的上下文为空（比如你的问题和软件手册完全不相关），模型就会直接调用自身预训练的常识库来回答。你需要修改prompt，加上明确限制：

  你只能使用以下提供的本地文档上下文来回答问题，不能使用任何上下文外的知识。如果上下文里没有相关信息，请直接说“无法从本地文档中找到该问题的答案”。
  上下文：{context}
  问题：{question}
  

• 检索空结果的处理逻辑缺失
  当langchain检索器在Chroma里找不到和问题相关的向量时，会返回空的上下文内容，但privateGPT默认会把这个空上下文直接传给模型，模型自然就会用自己的知识补全。你需要在代码里加个判断：如果检索到的文档数量为0，直接返回预设的“无本地相关信息”提示，而不调用模型生成回答。

• 预训练模型的特性使然
  GPT4All和Falcon这类预训练大模型本身就内置了大量常识，它们的训练目标就是尽可能给出合理回答，哪怕没有上下文也会倾向于输出内容，而不是拒绝回答。所以必须通过prompt约束+代码逻辑拦截双重手段，才能强制模型只依赖本地文档。

内容的提问来源于stack exchange，提问作者TheOldMan