如何处理OpenAI API不完整响应及上下文长度限制问题

一、检测响应是否不完整 #

直接检查API返回结果中choices[0].finish_reason字段：

• 当值为"length"时，说明响应因输出token上限被截断，属于不完整响应
• 若值为"stop"，说明模型正常完成响应；若为"content_filter"则是触发了内容过滤

二、续接响应的两种场景处理 #

场景1：响应截断但总对话token未超模型上下文上限 #

这种情况可直接向API发送续接指令，将之前的对话历史+未完成的响应内容传入，要求模型继续输出。

示例Python代码：

import openai

openai.api_key = "你的API密钥"

def get_chat_response(messages, model="gpt-3.5-turbo"):
    response = openai.ChatCompletion.create(
        model=model,
        messages=messages,
        max_tokens=1000  # 根据需求设置单次输出token上限
    )
    return response

# 初始对话
initial_messages = [
    {"role": "user", "content": "详细讲解Python中的异步编程，包括asyncio模块的核心用法、常见场景和最佳实践"}
]

# 首次请求
response = get_chat_response(initial_messages)
assistant_content = response.choices[0].message["content"]
finish_reason = response.choices[0].finish_reason

# 循环检测并续接
while finish_reason == "length":
    # 更新对话历史，添加续接指令
    initial_messages.append({"role": "assistant", "content": assistant_content})
    initial_messages.append({"role": "user", "content": "请继续完成之前的讲解，不要重复已经说过的内容"})
    
    # 发送续接请求
    response = get_chat_response(initial_messages)
    new_content = response.choices[0].message["content"]
    assistant_content += new_content  # 拼接完整内容
    finish_reason = response.choices[0].finish_reason

# 输出最终完整响应
print(assistant_content)

场景2：总对话token超过模型上下文上限 #

当对话历史+待生成内容的总token超过模型最大限制（如gpt-3.5-turbo的4096），直接续接会触发上下文溢出错误，需优化对话历史：

• 截断历史：保留最新的关键对话，移除较早的无关内容（需保证逻辑连贯）
• 总结历史：调用API对早期对话生成摘要，用摘要替代原始长历史以减少token占用

示例Python代码（基于tiktoken计算token数）：

import openai
import tiktoken

openai.api_key = "你的API密钥"
encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")

def count_tokens(messages):
    """计算对话消息的总token数"""
    num_tokens = 0
    for message in messages:
        num_tokens += 4  # 每条消息的固定token开销
        for key, value in message.items():
            num_tokens += len(encoding.encode(value))
    num_tokens += 2  # 对话结束的固定开销
    return num_tokens

def summarize_history(history):
    """对对话历史生成简洁摘要"""
    summary_prompt = [
        {"role": "user", "content": f"请用简洁语言总结以下对话的核心信息：\n{str(history)}"}
    ]
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=summary_prompt,
        max_tokens=200
    )
    return response.choices[0].message["content"]

def get_chat_response_with_context_management(messages, model="gpt-3.5-turbo", max_context_tokens=4096):
    while True:
        total_tokens = count_tokens(messages)
        # 预留1000token用于生成响应，避免触发上限
        if total_tokens <= max_context_tokens - 1000:
            response = openai.ChatCompletion.create(
                model=model,
                messages=messages,
                max_tokens=1000
            )
            return response, messages
        else:
            # 处理token溢出：优先移除最早的非系统对话对
            if len(messages) > 2:
                messages.pop(1)
                messages.pop(1)
            else:
                # 只剩系统提示和最新消息时，生成历史摘要
                summarized = summarize_history(messages[1:])
                messages = [messages[0], {"role": "user", "content": f"之前的对话总结：{summarized}\n请继续完成之前的任务"}]

# 模拟超长对话历史
long_messages = [
    {"role": "system", "content": "你是一个Python编程专家"},
    {"role": "user", "content": "讲解Python基础语法"},
    {"role": "assistant", "content": "Python基础语法包括变量定义、数据类型、控制流...（超长内容）"},
    # 更多历史消息...
    {"role": "user", "content": "继续讲解异步编程的高级用法"}
]

# 带上下文管理的请求
response, updated_messages = get_chat_response_with_context_management(long_messages)
assistant_content = response.choices[0].message["content"]
finish_reason = response.choices[0].finish_reason

# 续接逻辑同场景1
while finish_reason == "length":
    updated_messages.append({"role": "assistant", "content": assistant_content})
    updated_messages.append({"role": "user", "content": "请继续完成之前的讲解，不要重复已经说过的内容"})
    response, updated_messages = get_chat_response_with_context_management(updated_messages)
    new_content = response.choices[0].message["content"]
    assistant_content += new_content
    finish_reason = response.choices[0].finish_reason

print(assistant_content)

代码验证说明 #

• 代码基于OpenAI官方Python SDK v1.x版本编写，若使用旧版需调整对应调用写法
• count_tokens函数通过tiktoken库精准计算token数，避免估算错误导致的上下文溢出
• 续接指令明确要求模型“不要重复已说内容”，可有效保证输出连贯性

内容的提问来源于stack exchange，提问作者Jade Laurence C. Empleo