Llama-2离线PDF问答异常排查：无关问题返回模型固有知识

问题场景 #

基于llama-2-7b-chat.ggmlv3.q2_K.bin模型，用LangChain实现离线PDF问答功能，处理2-3页的气候变化主题PDF文档。两段代码仅存在try-except块差异，但运行结果完全不同：

• 无try-except的正确代码：对无关问题（如“who is ms dhoni”）返回预设内容Not provided in the pdf...
• 含try-except的错误代码：会返回模型自身的固有知识回答该问题，同时控制台出现**token数超过最大上下文长度（512）**的提示，处理耗时明显更长

根因分析 #

1. 异常分支逻辑错误：try-except块大概率捕获了检索环节的异常（比如检索到的相关文档为空、文档处理时抛出格式异常等），但异常分支没有返回预设的无相关内容提示，而是直接调用大模型进行通用问答，完全脱离了PDF上下文约束，导致模型用自身固有知识作答。
2. Token超限触发原因：异常场景下，可能错误地将未经过滤的完整prompt（甚至包含整个PDF的原始文本）喂给模型，或者prompt构造逻辑在异常时没有做截断处理，导致输入token数超过模型512的上下文上限，既触发警告，又因为模型需要处理更多内容导致耗时增加。

修复方案 #

• 精准捕获异常：不要用except Exception捕获所有异常，只捕获检索环节可能出现的特定异常（如检索空结果、文档解析错误等），避免误捕获其他逻辑异常导致流程走偏。
• 异常分支统一返回预设提示：在except块中直接返回Not provided in the pdf...，不触发大模型的通用问答逻辑。
• 添加Token截断机制：在构造输入prompt时，强制添加token截断逻辑，确保总token数不超过模型512的上限，避免超限提示和额外耗时。
• 排查检索环节异常根源：检查检索链（如VectorStoreRetriever）的配置，确认是否因为相似度阈值设置过高、文本分割不合理等原因导致无关问题触发检索异常，从根源减少异常触发的可能。

内容的提问来源于stack exchange，提问作者Kanha Tomar