基于LangChain+Chroma+PALM的向量库QA机器人问题排查

问题1：QA链返回PALM预训练记忆答案，而非向量库内容 #

核心原因 #

检索到的向量库文档未被正确注入prompt，或检索器未返回有效内容，导致模型 fallback 到预训练知识作答。

解决方案 #

• 检查prompt模板，必须包含{context}变量，确保检索到的上下文能传入模型。示例：

  from langchain.prompts import PromptTemplate
  prompt = PromptTemplate.from_template(
      "基于以下上下文回答问题：\n{context}\n\n问题：{question}\n答案："
  )
  

• 验证检索器有效性：启用return_source_documents=True，运行后查看返回结果中的source_documents字段，确认是否包含CSV导入的结构化文本。
• 调整检索参数：设置search_kwargs={"k": 3}（可根据需求调整k值），确保检索器能返回足够相关的文档。
• 检查Chroma集合构建逻辑：通过chroma_collection.get()查看存储的文档，确认CSV每行内容已正确存入对应集合。

问题2：传入Chroma实例作为retriever触发ValidationError #

核心原因 #

RetrievalQA要求传入标准Retriever接口对象，而非Chroma向量库实例本身。

解决方案 #

• 从Chroma实例生成合法的retriever对象，调用as_retriever()方法完成转换。示例代码：

  # 假设已构建好目标Chroma集合chroma_collection
  retriever = chroma_collection.as_retriever(search_kwargs={"k": 2})
  # 构建RetrievalQA链
  qa_chain = RetrievalQA.from_chain_type(
      llm=palm_model,
      chain_type="stuff",
      retriever=retriever,
      return_source_documents=True
  )
  

• 禁止直接传入Chroma实例，必须通过as_retriever()转换为符合LangChain规范的Retriever对象。

内容的提问来源于stack exchange，提问作者Advaith R