基于Mistral 7B Instruct的SignStage剧院RAG助手检索问题排查

一、检索相关性问题排查与优化 #

• 结构化数据转文本标准化
  当前将结构化数据转文本存储的方式可能存在格式混乱，导致嵌入模型无法精准捕捉关键信息。建议统一每个剧目文本格式：

  剧目名称：XXX
  演出厅：A/B厅
  演出日期范围：YYYY-MM-DD 至 YYYY-MM-DD
  场次：午场（XX:XX）、夜场（XX:XX）
  票价：XX元/人
  余票：午场XX张、夜场XX张
  年龄限制：XX岁以上/无限制
  

  标准化格式能让嵌入模型更高效地提取核心字段，避免因文本杂乱导致检索偏差。
• 嵌入与检索参数调优
  • 调整Chroma检索返回数量k：由于仅存储21个剧目，可将k设为5-10，确保召回全部相关文档，避免漏检。
  • 替换适配嵌入模型：如果剧目数据为中文，将BAAI/bge-large-en-v1.5替换为BAAI/bge-large-zh-v1.5，中文嵌入匹配精度更高。
  • 测试距离度量方式：默认余弦相似度适配结构化数据，可尝试切换为欧氏距离，对比检索效果差异。
• 查询生成Pipeline精准化
  当前独立查询生成模块可能未精准提取用户问题的核心实体（剧目名、厅、场次等）。修改查询生成prompt，强制提取关键参数：

  从用户问题中提取所有关键查询要素：剧目名称、演出厅、场次（午/夜场）、日期，生成仅包含核心信息的简洁检索语句，无冗余描述。
  

  避免生成模糊查询词，提升检索精准度。

二、Prompt过大导致模型过载的优化 #

• 对话历史智能裁剪
  替换ConversationBufferMemory为ConversationTokenBufferMemory，设置max_token_limit（如2000-3000，匹配Mistral 7B的8k上下文窗口），自动裁剪超出token限制的历史内容，仅保留最近关键对话。
• 检索结果浓缩过滤
  检索到文档后，先过滤掉与用户问题无关的字段：比如用户询问票价，仅保留各剧目票价字段，丢弃其他无关内容，减少传入模型的文本量。
• Prompt结构极简处理
  响应生成prompt删除冗余规则，精简为：

  基于以下剧院剧目信息回答用户问题：
  {浓缩后的检索文档}
  用户问题：{用户问题}
  要求：仅基于提供信息作答，准确简洁，不编造内容。
  

  减少非必要修饰性语句，降低prompt的token占用。
• 模型推理参数优化
  启用Mistral的prompt_cache功能，缓存重复prompt片段减少重复计算；设置temperature=0（信息查询类任务无需创造性），降低模型计算负载。

三、额外优化建议 #

• 为每个剧目文档添加元数据（如{"hall": "A", "show_type": "matinee"}），采用元数据过滤+向量检索的混合检索方式：先通过元数据缩小检索范围，再做向量匹配，既提升精准度又减少返回文档数。
• 拆分RAG链环节单独测试：分别验证查询生成输出、检索结果匹配度，逐步定位问题节点。

内容的提问来源于stack exchange，提问作者NIKOMAHOS