如何解决OpenAI API续写内容时的令牌超限报错问题？

1. 增量式上下文精简策略 #

• 只保留核心上下文信息而非全部已生成内容：提取已生成文本的主题、关键论点、核心设定等要素，用简洁语言总结后放入prompt，替代完整文本。比如生成科技文章时，可写"本文围绕AI大模型部署优化展开，已论述边缘计算适配、模型量化两个方向，接下来继续写推理延迟优化部分"。
• 分段生成并维护上下文摘要：每次生成一段内容后，自动生成该段的简短摘要，后续续写时用"前文摘要+续写指令"作为prompt，避免重复传入大段文本。

2. 精准续写指令+局部上下文 #

• 在prompt末尾明确添加续写指令，仅传入中断处的最后一段（或最后几百个token），结合前文核心摘要引导模型衔接。示例prompt：请继续完成以下未写完的内容：[此处放最后一段未完成文本]，前文核心主题为：[此处放主题摘要]。
• 用logit_bias参数调整模型输出倾向，强制模型延续当前行文风格和主题，减少偏离可能，降低对大量上下文的依赖。

3. 切换大上下文窗口模型 #

• 直接使用支持更大token上限的模型，比如GPT-4 Turbo（128k token）、GPT-3.5 Turbo 16k，这类模型能容纳更多已生成内容，直接将已完成文本+续写指令放入prompt也不易触发令牌超限。

4. 令牌截断与滑动窗口机制 #

• 用OpenAI的tiktoken库精准计算token数量，当接近模型上限时，采用滑动窗口策略：保留最新的N个token（比如最后1000个）+ 核心主题摘要，删除较早的、对后续续写影响较小的内容，平衡上下文完整性和令牌消耗。示例代码：

import tiktoken

def count_tokens(text, model="gpt-3.5-turbo"):
    encoding = tiktoken.encoding_for_model(model)
    return len(encoding.encode(text))

5. 结构化大纲辅助续写 #

• 如果是小说、技术文档这类结构化内容，先让模型输出完整内容大纲，续写时只传入大纲对应部分的进度+当前未完成内容，让模型基于大纲延续创作，无需传入全部已写内容。

内容的提问来源于stack exchange，提问作者cloud around