GPT-4 API token计数疑问：为何单条「hi」消息被计为8 tokens？

计数差异的核心原因 #

Chat Completions API计算消息的token总数时，并非只统计消息内容的token，还会额外计入消息结构相关的隐藏token：

• 消息角色的标识标记（比如user角色的专属前缀）
• 分隔不同消息块的特殊符号
• 封装消息格式所需的固定token

以你发送的{"role": "user", "content": "hi"}为例，API实际处理的完整token序列包含了角色标记、内容、结束分隔符等部分，加起来正好是8个token，这就是报错中消息占用8个token的原因。

解决办法 #

1. 放弃仅计算内容token的方式：设置max_tokens时，必须预留出消息结构所需的额外token空间，不能直接用模型最大上下文长度减去内容文本的token数。
2. 预留足够余量：建议给消息结构预留至少几十到上百的token余量，比如将max_tokens设为8100左右，即可避免触发上下文长度限制。
3. 用官方工具统计完整请求token：使用OpenAI官方提供的token计算工具，直接统计包含所有消息结构在内的总token数，再合理设置max_tokens。

调整后的示例请求 #

curl https://api.openai.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-bla-bla-bla" \
  -d '{
    "model": "gpt-4",
    "max_tokens": 8100,
    "messages": [
      {
        "role": "user",
        "content": "hi"
      }
    ]
  }'

内容的提问来源于stack exchange，提问作者Yavor from Team-GPT