Langchain纯离线检索配置、替代LLM选型及答案溯源咨询

强制仅从本地数据返回结果的配置 #

核心是构建全离线的检索链路，确保所有组件（嵌入模型、向量数据库、大语言模型）均本地部署，且明确限制LLM仅基于检索到的本地内容回答：

1. 构建本地向量数据库：将新闻文本转为向量存入离线库（以Chroma为例）

   from langchain.vectorstores import Chroma
   from langchain.embeddings import HuggingFaceEmbeddings
   from langchain.text_splitter import CharacterTextSplitter
   
   # 加载并拆分本地新闻文本
   with open("local_news_corpus.txt", "r", encoding="utf-8") as f:
       raw_text = f.read()
   text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
   text_chunks = text_splitter.split_text(raw_text)
   
   # 使用离线嵌入模型生成向量
   offline_embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
   # 持久化本地向量库
   vector_db = Chroma.from_texts(text_chunks, offline_embeddings, persist_directory="./local_news_db")
   vector_db.persist()
   

2. 配置离线检索链：搭配本地LLM，开启来源文档返回，并通过Prompt强制仅用本地内容回答

   from langchain.llms import LlamaCpp
   from langchain.chains import RetrievalQA
   from langchain.prompts import PromptTemplate
   
   # 加载本地量化LLM（需提前下载模型权重文件）
   local_llm = LlamaCpp(
       model_path="./llama-2-7b-chat.ggmlv3.q4_0.bin",
       temperature=0.1,
       max_tokens=1500,
       top_p=0.9
   )
   
   # 自定义Prompt，强制LLM仅用本地文档内容回答
   custom_prompt = PromptTemplate(
       template="仅基于以下提供的本地新闻文档回答问题，不得使用外部知识。若文档无相关内容，直接回复'无相关信息'。\n文档：{context}\n问题：{question}\n回答：",
       input_variables=["context", "question"]
   )
   
   # 构建检索链，开启来源文档返回
   qa_chain = RetrievalQA.from_chain_type(
       llm=local_llm,
       chain_type="stuff",
       retriever=vector_db.as_retriever(search_kwargs={"k": 3}),
       return_source_documents=True,
       chain_type_kwargs={"prompt": custom_prompt}
   )
   
   # 查询示例
   query_result = qa_chain({"query": "2024年Q1科技行业融资新闻汇总"})
   print("回答内容：", query_result["result"])
   print("来源文档片段：", [doc.page_content for doc in query_result["source_documents"]])
   

3. 关键校验点：确保代码中未导入OpenAI、OpenAIEmbeddings等依赖外部API的组件，彻底切断外部调用路径。

新闻类文本处理的离线LLM推荐 #

针对新闻摘要、信息检索、问答等场景，推荐以下轻量化离线LLM：

• Llama 2 7B/13B Chat：开源生态成熟，量化版本（4-bit）可在普通消费级GPU运行，新闻信息提取准确性高。
• Mistral 7B：推理速度快，对长文本上下文处理友好，适合多新闻文档的整合回答。
• Zephyr-7B-beta：基于Mistral微调，对话输出更通顺自然，适合生成可读性强的新闻类回答。
• Falcon 7B：针对信息检索任务优化，能精准从新闻文本中提取关键数据。

解决答案来源不稳定的问题 #

前两次无信息、第三次调用ChatGPT的问题，本质是链路配置存在外部调用 fallback 逻辑，修复方案：

1. 排查代码中是否混用了OpenAI相关组件，全部替换为离线实现。
2. 开启链的 verbose 模式（chain_type_kwargs={"verbose": True}），查看检索日志，确认每次查询是否命中本地向量库。
3. 通过自定义Prompt严格限制LLM的知识范围，避免其默认调用外部训练数据回答。

内容的提问来源于stack exchange，提问作者Powerflow2323