基于LangChain与Pinecone的GPT-3研究助手及CSV问答精度问题排查

• 文本分割问题：处理大型CSV时，分割粒度不合理会直接影响向量召回准确性。比如整行作为分割单元可能混入无关字段，过短的分割会丢失字段间的逻辑关联，导致召回片段偏离用户问题。
• Embedding模型适配性差：通用文本Embedding模型对CSV这类结构化数据的语义捕捉能力不足，无法准确识别字段名、数值、类别之间的关联，导致存储的向量语义偏差，召回结果不匹配。
• Pinecone索引配置错误：
  • 索引维度与Embedding模型输出维度不匹配，造成向量信息丢失或混乱。
  • 距离度量方式选择错误（如用欧氏距离处理适配余弦相似度的Embedding），打乱召回结果的相关性排序。
  • 未根据数据量调整分片、副本数，影响检索的精准度和效率。
• LangChain检索逻辑缺陷：
  • top_k参数设置不合理，过大引入无关片段，过小漏掉关键信息。
  • 未配置针对性过滤条件，无法精准筛选用户问题对应的字段或行数据，导致召回无关内容。
  • 未结合CSV特性使用自定义检索策略，仅依赖文本检索而忽略结构化数据的查询增强。
• 数据预处理不到位：
  • CSV脏数据（缺失值、异常格式、重复行）未清洗就生成向量，无效向量干扰检索结果。
  • 未对CSV字段做语义增强，比如将字段名与值组合成自然语句（如“用户ID：123，购买金额：500元”），直接存储原始值导致Embedding无法理解字段含义。
• Prompt设计不合理：
  • 未明确要求模型仅基于召回的CSV数据回答，导致模型生成幻觉内容。
  • 未提示模型处理结构化数据的逻辑（如优先参考字段对应值、注意数值单位），造成模型误解数据含义。
• 上下文拼接逻辑问题：召回片段的拼接顺序混乱、未标注来源字段，导致模型无法理解片段间的关联，进而输出错误回答。

内容的提问来源于stack exchange，提问作者Varshithareddy Kalluri