面向LLM提示词增强的大数据库文档检索技术优化问询

一、优化嵌入生成以提升信息检索性能 #

• 网页内容预处理：清理HTML中的冗余标签（导航、广告、页脚等），只提取核心文本（标题、正文段落），避免无关内容干扰嵌入的语义聚焦性。
• 语义化分块：放弃固定长度分块，按段落、标题或业务逻辑边界拆分文档，确保每个文本块主题单一。可给分块添加主题前缀（如[主题：爆米花制作步骤]），让嵌入更贴合核心内容。
• 嵌入增强策略：将文档的元数据（标题、分类标签、业务属性）与正文拼接后生成嵌入，或对元数据单独生成嵌入并与正文嵌入加权合并，强化检索时的精准匹配。
• 领域适配微调：利用业务专属文档对text-embedding-ada-002进行微调，让嵌入模型更好地理解行业术语和业务语境，提升专业内容的检索精度。
• 去重预处理：提前用嵌入相似度阈值过滤向量库中的重复/高度相似文本块，减少冗余数据，避免检索返回低价值的重复结果。

二、k近邻检索中嵌入分数高低的经验法则 #

嵌入分数（通常为余弦相似度）本质是衡量提问向量与文本块向量的语义方向重合度，而非文本是否包含答案，短文本分数更高的核心原因如下：

• 语义聚焦度差异：短文本的语义高度集中，完全对齐提问的核心诉求（如“如何制作爆米花”），向量方向与提问向量高度一致；长文本块包含大量无关细节（如爆米花历史、品牌对比），向量是多语义的加权平均，与提问核心方向偏离。
• 噪声稀释效应：长文本中的冗余信息会稀释核心语义的向量权重，导致整体向量与提问向量的重合度降低；短文本无冗余内容，每个词汇都服务于核心主题，向量精准度更高。
• 匹配粒度差异：具体问题的提问向量偏向精准的要素匹配，短文本往往直接对应这些核心要素；长文本是包含答案的“上下文容器”，其向量更偏向整体语境，而非精准匹配问题的核心诉求。

内容的提问来源于stack exchange，提问作者Bruno Vaz