Azure AI Studio中GPT-3.5-Turbo Prompt Flow相同输出评估指标差异排查

核心问题拆解 #

你遇到的矛盾点在于：两个微调部署生成的答案完全一致，但评估指标（连贯性、流畅度等）差异显著，且按文档说明这些指标不应依赖模型输入。以下是具体的排查方向和原因分析：

可能的原因 #

• 评估组件的隐性模型依赖：虽然官方文档标注指标仅需问题、上下文和答案，但Azure Prompt Flow的内置评估组件（比如用于计算相似度、连贯性的模块）实际默认调用了内部大模型来完成评分。如果你的两个Flow在评估组件的模型配置上不一致——比如一个用了默认的评估模型，另一个误选了你的微调部署，就会导致评分逻辑差异。
• 部署缓存或调用异常：看似两个独立的微调部署，可能存在其中一个未真正生效的情况（比如部署未完成、缓存未刷新），或者Flow在调用时复用了同一个模型实例。此时评估组件可能读取到不同的部署元数据（如ID、版本），触发了隐性的加权评分逻辑。
• 测试集数据的隐性差异：即使是同一测试集，导入两个Flow时可能出现字段映射错误（比如context字段大小写不一致）、格式差异（如换行符、特殊字符），导致评估组件实际读取的输入数据不同，进而影响得分。
• 评估组件版本不一致：两个Flow使用的评估模块版本不同，不同版本的指标计算逻辑可能有迭代更新，相同输入下会产生不同得分。
• 非确定性计算干扰：部分指标（如流畅度、连贯性）的评分依赖内部大模型的推理，若未固定随机种子，即使输入相同，大模型的输出也可能存在波动，导致评分差异。

排查操作步骤 #

• 核对评估组件配置：打开两个Flow的评估模块设置，确认所有参数（包括评估用模型、评分规则、阈值）完全一致，尤其注意不要将你的微调部署误选为评估模型。
• 验证部署有效性：直接调用两个微调部署的API，输入相同的问题和上下文，确认返回的答案确实完全一致（不要仅依赖Flow的输出结果）。
• 对比测试集输入数据：导出两个Flow的测试集输入，逐行对比question、context、answer、ground_truth等核心字段的内容和格式，确保无差异。
• 统一评估组件版本：将两个Flow的评估组件切换至同一稳定版本，重新运行评估任务。
• 固定随机种子：若评估组件支持设置随机种子，将两个Flow的种子值设为相同，消除非确定性推理的影响。

内容的提问来源于stack exchange，提问作者Kornkamol