基于Azure OpenAI ChatCompletion的业务文档问答缓存需求咨询

核心思路 #

既然已经掌握了文档与问题的嵌入技术，缓存的核心就用问题嵌入向量的相似性匹配替代传统字符串匹配，精准识别同义词、句式不同但语义一致的相似问题，避免重复调用Azure OpenAI接口。

相似问题匹配逻辑 #

• 对用户当前提问生成嵌入向量
• 与缓存中存储的所有问题向量做余弦相似度计算
• 预设相似度阈值（比如0.9，可根据业务场景测试调整），超过阈值则判定匹配成功，直接返回缓存答案

缓存存储选型与结构 #

• 存储内容：问题文本、问题嵌入向量、对应答案、可选的过期时间戳
• 存储工具：推荐用Redis（搭配Redis Stack的向量索引功能），轻量易集成，支持高效的向量相似度查询；超大规模场景可选用专门的向量数据库，但Redis足够覆盖大部分中小业务需求
• 结构设计：用哈希结构存储单条缓存数据，用向量索引实现快速相似问题检索

具体实现步骤 #

1. 用户提问时，先调用嵌入模型生成当前问题的向量
2. 向缓存发起向量相似度查询，筛选出相似度高于阈值的条目
3. 若命中缓存，直接返回对应答案；若未命中，走原有流程：检索相关业务文档→调用Azure OpenAI ChatCompletion生成答案→将问题文本、向量、答案存入缓存
4. 可选：添加缓存失效机制，比如设置固定过期时间，或在业务文档更新时触发缓存清空，避免返回过时内容

关键注意事项 #

• 阈值调优：结合实际业务提问场景测试，阈值过高会漏判相似问题，过低可能返回不相关的缓存答案
• 缓存一致性：业务文档更新后必须同步更新或清空对应缓存，否则会基于旧文档内容生成错误答案
• 性能优化：当缓存的问答对数量较多时，一定要建立向量索引，避免全量遍历计算相似度，否则匹配速度会大幅下降

内容的提问来源于stack exchange，提问作者Sid