构建带记忆的对话式RAG：如何仅获取答案而非全量输出

问题分析 #

你的RAG系统当前返回结果包含上下文、提示模板、问题等冗余内容，核心原因集中在三点：

• RAG链（rag_chain）本身未正确分离输出，返回了拼接后的完整内容
• 提示模板未明确约束模型仅输出纯答案，导致模型附带上下文或指令信息
• 正则表达式未匹配到正确的答案区域，导致提取为空

解决方案 #

1. 修正RAG链输出结构 #

确认rag_chain的返回仅包含纯答案。如果使用LangChain的RetrievalQA，需设置return_source_documents=False，避免返回源文档：

from langchain.chains import RetrievalQA

rag_chain = RetrievalQA.from_chain_type(
    llm=your_llm,
    chain_type="stuff",
    retriever=your_retriever,
    return_source_documents=False  # 关键：仅输出答案，不返回源文档
)

2. 优化提示模板，强制纯答案输出 #

修改系统提示，明确要求模型仅输出问题答案，不得包含任何冗余内容：

from langchain.prompts import PromptTemplate

prompt_template = """
仅根据提供的文档回答问题，**只输出答案内容，不要包含文档原文、指令说明或其他无关信息**。
如果文档无相关信息，输出："I cannot provide an answer based on the provided document."

问题：{question}
"""

prompt = PromptTemplate(
    input_variables=["question"],
    template=prompt_template
)

3. 正则表达式提取（应急方案） #

若无法修改RAG链或提示模板，可针对当前输出格式编写精准正则，提取Human:行之后的答案内容：

import re

def extract_answer(full_output):
    # 匹配Human行之后的所有内容（支持跨行匹配）
    pattern = r"Human:.*?\n(.*)$"
    match = re.search(pattern, full_output, re.DOTALL)
    return match.group(1).strip() if match else ""

# 使用示例
answer = extract_answer(result["answer"])

4. 代码整合调整 #

修改调用代码，确保提取纯答案后再返回：

conversational_rag_chain = RunnableWithMessageHistory(
    rag_chain,
    get_session_history,
    input_messages_key="input",
    history_messages_key="chat_history",
    output_messages_key="answer",
)

def qa(question):
    result = conversational_rag_chain.invoke(
        {"input": question},
        config={"configurable": {"session_id": "abc123"}}
    )
    # 提取纯答案
    full_content = result["answer"]
    pattern = r"Human:.*?\n(.*)$"
    match = re.search(pattern, full_content, re.DOTALL)
    return match.group(1).strip() if match else full_content

# Streamlit调用部分
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Loading"):
            answer = qa(question)
            st.write(answer)
    new_ai_message = {"role":"assistant","content": answer}
    st.session_state.messages.append(new_ai_message)

内容的提问来源于stack exchange，提问作者Avisheka Niyogi