使用LangChain Retriever实现网页QA效果不佳问题排查

核心问题排查与修复方向 #

1. 文本分割参数不合理 #

你设置的chunk_size=100过小，会将关于Vectorstore Retriever Options的完整内容拆成碎片化的片段，破坏语义完整性，导致检索时无法精准匹配到相关上下文。

修复方案：
调整文本分割参数，保证上下文连贯性：

text_splitter = RecursiveCharacterTextSplitter(chunk_size=800, chunk_overlap=150)

2. 检索器未配置关键参数 #

默认检索器的召回数量（top_k=4）可能不足，且未设置相似度过滤，容易召回无关内容。

修复方案：
显式配置检索器的召回数量与相似度阈值：

retriever = vectorstore.as_retriever(search_kwargs={"k": 6, "score_threshold": 0.7})
qa = RetrievalQA.from_chain_type(llm, chain_type="stuff", retriever=retriever)

3. LLM提示词缺失约束 #

默认stuff链的提示词未明确要求LLM仅基于检索到的文档内容回答，导致llama2生成无关表述。

修复方案：
自定义提示词强化约束：

from langchain.prompts import PromptTemplate

prompt_template = """使用以下上下文回答用户问题，不知道答案就直接说不知道，禁止编造内容。

上下文:
{context}

问题: {question}
答案:"""
PROMPT = PromptTemplate(template=prompt_template, input_variables=["context", "question"])

qa = RetrievalQA.from_chain_type(
    llm,
    chain_type="stuff",
    retriever=retriever,
    chain_type_kwargs={"prompt": PROMPT}
)

4. 验证文档加载与检索结果 #

先确认网页内容是否正确加载，以及检索器能否召回相关片段：

# 检查加载的文档内容
print(data[0].page_content[:500])

# 测试检索结果
retrieved_docs = retriever.get_relevant_documents("How do you use Vectorstore Retriever Options?")
for doc in retrieved_docs:
    print("\n--- 检索到的片段 ---")
    print(doc.page_content)

如果检索结果中没有相关内容，说明文本分割或检索配置存在问题；若有相关内容但LLM仍回答错误，则需优化提示词或更换模型。

5. LLM模型局限性 #

llama2-7b这类基础模型对复杂技术细节的理解可能存在不足，若上述优化后仍无改善，可尝试使用更大参数的llama2模型（如13b版本）。

内容的提问来源于stack exchange，提问作者Mike K