Azure OpenAI聊天Playground与Web应用响应及引用不一致问题排查

• 检索参数配置差异：聊天Playground和自定义Web应用可能使用了不同的检索参数。比如top（返回结果数量）、filter（过滤条件）、searchMode（检索模式，如any或all）、queryType（查询类型，如simple或full）设置不同，会导致返回的相关文档片段不一样，最终生成的回答和引用自然不同。
• 提示词模板不同：两者可能使用了不同的系统提示词。Playground有默认的提示模板，而你的Web应用可能自定义了提示，比如对引用格式、回答语气的要求不同，或者是否强制要求引用文档，这会影响大模型生成内容的逻辑，甚至出现引用不匹配的情况。
• 索引字段使用不一致：你的索引包含多个文本字段（如content、split_text、merged_content等），Playground可能默认使用了某个字段（比如merged_content）进行检索，而Web应用可能配置了另一个字段（比如split_text），不同字段的内容粒度、完整性不同，检索结果就会有差异。
• 大模型调用参数差异：如果使用了不同的大模型参数，比如temperature（温度值，控制随机性），Playground默认的温度可能和Web应用设置的不一样。温度越高，回答的随机性越强，即使检索到相同的文档，生成的回答也可能不同。
• 文档检索的随机性：Azure AI Search在返回结果时，当多个文档的相关性分数接近时，可能会随机排序，导致每次检索返回的文档顺序不同，大模型基于不同顺序的文档片段生成的回答和引用也会有差异。
• 缓存机制差异：Playground可能内置了缓存，而Web应用没有，或者两者的缓存策略不同，导致返回的不是最新的检索结果，甚至出现引用已更新文档的旧版本情况。
• 技能集处理差异：虽然你创建了文本拆分技能集，但Web应用可能在索引构建时没有正确应用技能集，或者技能集的参数（比如拆分的chunk大小、重叠度）和Playground使用的不一致，导致索引中的文本片段不同，检索结果自然不同。

内容的提问来源于stack exchange，提问作者Tanuj Kumar Verma