OpenAI Assistants API线程历史是否计入token消耗的技术咨询

核心差异回顾 #

• Chat Completions API：每次请求必须手动传入完整对话历史（含用户提问、API回复、系统消息），token消耗直接包含所有传入的历史内容。
• Assistants API：自动留存对话线程的历史消息，无需每次请求手动传入。

关于Token消耗的核心答案 #

Assistants API的token消耗会包含当前请求中被纳入上下文的过往消息，但并非无差别累计所有历史：

• 当发起新请求时，API会基于对话线程内的历史消息生成回复，这些被用作上下文的历史内容都会被计算token消耗。
• 若使用了max_prompt_tokens参数或搭配检索、代码解释器等工具，API会自动筛选与当前请求最相关的历史内容纳入上下文，避免无意义的全量历史token消耗，以此优化成本。

内容的提问来源于stack exchange，提问作者Aftab Baig