gpt-3.5-turbo API计费疑问:对话历史是否计入token统计?
GPT-3.5-turbo 对话请求的计费规则说明
- 计费是统计发送给API的全部消息中的总token数,包括系统提示词、所有历史用户消息、所有历史助手回复,而不是仅统计最后一条用户消息。
- 结合你给出的代码来看:每次调用
openai.ChatCompletion.create时,messages列表里的所有内容(初始系统消息、之前的用户提问、之前的助手回复)都会被计算token,以此作为计费依据。 - 额外说明:token统计不仅包含消息的文本内容,还会涵盖消息结构里的角色标识等字段,但这部分token占比极低,几乎可以忽略。
内容的提问来源于stack exchange,提问作者akzarma
相关产品推荐
相关产品推荐

