使用OpenAI API调用Completion接口返回内容过短问题求助

核心问题 #

你当前调用的是**文本补全API（Completion API）的text-davinci-003模型，而ChatGPT网页版使用的是对话补全API（Chat Completions API）**的gpt-4模型，两者的接口逻辑、上下文窗口限制完全不同，这是回复长度差异的根本原因。

具体解决步骤 #

1. 切换到Chat Completions API接口
   放弃原来的openai.Completion.create()，改用专门的对话接口openai.ChatCompletion.create()，并指定gpt-4模型（需确保你的API账户已开通gpt-4调用权限，付费账户默认支持）。

2. 调整请求参数结构
   Chat Completions API不使用prompt参数，而是通过messages数组传递对话内容，每个元素包含role（可选值：system/user/assistant）和content字段。
   其中max_tokens参数在Chat Completions中仅指生成的回复的最大token数，且gpt-4的基础版上下文窗口为8192token，足够支持更长的回复。

3. 修正后的代码示例

def generate_completion(prompt):
    response = openai.ChatCompletion.create(
      model="gpt-4",
      messages=[
          {"role": "user", "content": prompt}
      ],
      max_tokens=4000,
      temperature=0.8,
      top_p=1,
      frequency_penalty=0,
      presence_penalty=0,
    )
    generated_text = response.choices[0].message['content'].strip()
    return generated_text

额外注意事项 #

• 确认你的API账户已开通gpt-4权限：可在OpenAI平台的模型列表中查看是否有gpt-4选项。
• 估算token占用：使用OpenAI官方的tiktoken库计算输入messages的token数，确保输入token数 + 设置的max_tokens不超过模型的上下文窗口限制（gpt-4基础版为8192，如需更长可使用gpt-4-32k）。

内容的提问来源于stack exchange，提问作者Jeff M