GPT-3 davinci使用相同prompt调用返回不同结果的相关问题咨询

问题回复 #

现象确认 #

相同prompt调用GPT-3 Davinci补全接口返回不同响应属于正常现象，所有调用该接口的开发者都会遇到同类情况。

差异产生的核心原因 #

该表现完全符合预期，接口返回差异由请求参数中的随机性控制配置导致，核心关联两个参数：

• temperature：用于调整输出的随机程度，取值范围为0~2，数值越高输出发散性越强。你提交的请求中将该参数设为1，此时模型不会固定选取概率最高的下一个token，而是在多个概率相近的候选token中随机采样，每次运行的采样结果自然存在差异。
• top_p：核采样阈值，设置为1时，模型会从所有候选token的全集中采样，保留了所有可能的输出选项，进一步放大了输出的随机性。

如果需要尽可能固定相同输入对应的输出结果，可将temperature调整为0，同时将top_p调整为0.1以下，多次调用的返回结果就会基本保持一致。

测试用例说明 #

你提交的测试用例参数配置完全符合上述随机性触发条件：三次调用请求参数完全一致，返回的补全文本分别为, this column、, winter break、, the traditional，表现完全匹配预期逻辑。

内容的提问来源于stack exchange，提问作者Duy Bui