关于gpt-3.5-turbo的prompt_tokens计算与文档不符的技术问询

你遇到的prompt_tokens比文档计算值多7个的情况，是因为gpt-3.5-turbo（尤其是0301版本）会自动为对话消息添加隐含的格式标记token，这部分在早期官方文档中未明确说明。

以你的示例来看，输入内容"pear"本身是1个token，加上模型自动添加的7个格式标记token，总token数刚好是8，与接口返回结果一致。

隐含格式标记的构成（单条用户消息场景） #

模型会将你的输入包装为以下结构（每个元素对应1个token）：

• <|im_start|>
• "user"
• 换行符
• <|im_end|>
• <|im_start|>
• "assistant"
• 换行符

这7个标记加上内容"pear"的1个token，总和为8，完全匹配接口返回的prompt_tokens数值。

手动验证方法 #

使用OpenAI的tiktoken工具可以直接验证计算结果：

import tiktoken

def count_chat_tokens(messages, model="gpt-3.5-turbo-0301"):
    encoding = tiktoken.encoding_for_model(model) if model in tiktoken.model.ModelToEncoding else tiktoken.get_encoding("cl100k_base")
    
    # 0301版本的token计算规则
    tokens_per_message = 4
    tokens_per_name = -1
    num_tokens = 0
    
    for msg in messages:
        num_tokens += tokens_per_message
        for key, val in msg.items():
            num_tokens += len(encoding.encode(val))
            if key == "name":
                num_tokens += tokens_per_name
    num_tokens += 3  # 对话结尾的额外标记
    return num_tokens

# 你的请求消息
test_messages = [{"role": "user", "content": "pear"}]
print(count_chat_tokens(test_messages))  # 输出：8

注意点 #

• OpenAI后续已更新官方文档，补充了这部分隐含token的计算规则，建议参考对应模型版本的最新文档。
• 不同版本的gpt-3.5-turbo（如0613）的token计算规则存在差异，需注意版本适配。

内容的提问来源于stack exchange，提问作者stewie