LLM基于RAG检索给定段落中密码失败的原因及解决方法

原因 #

• 内置合规拦截：主流LLM都自带隐私保护规则，会自动识别密码这类敏感信息，哪怕是你主动提供的内容，系统也会判定为违规操作，拒绝提取。
• RAG流程的额外过滤：如果你的RAG系统在检索后加了内容审核环节，可能在LLM生成响应前就把包含密码的输出给拦下来了。
• 指令没说清场景：如果你的提取请求没明确说明这是你自己的测试数据，LLM可能误以为你在请求获取他人隐私，触发合规拒绝。

解决方法 #

• 明确指令场景：在请求里直接点明这是你提供的测试内容，比如："请从以下我提供的测试段落里提取密码：[你的段落内容]"，让模型清楚这是合法的测试操作，不是窃取隐私。
• 用无限制开源模型：选没有预设严格隐私拦截的开源LLM（比如Llama 2 7B基础版、Mistral-7B），部署时关掉内置的安全过滤模块，直接跑提取逻辑。
• 调整RAG的审核规则：检查你的RAG流程，看看有没有中间的内容过滤组件，暂时关闭或者调整规则，允许提取你提供的敏感测试数据。
• 本地部署模型：把LLM部署在本地环境，完全掌控输出规则，避开云端服务的强制合规拦截。

内容的提问来源于stack exchange，提问作者Sanjay Mythili