GPT-4、GPT-3.5与GPT-3是否可共用同一令牌计数器？

• 可以共用同一令牌计数器。GPT-3、GPT-3.5和GPT-4采用的是相同的Byte Pair Encoding（BPE）分词规则，因此令牌计数逻辑完全一致。
• OpenAI官方给出的工具支持说明：

  若需程序化的文本分词接口，可查看Python版tiktoken包；对于JavaScript，node.js的gpt-3-encoder包适用于大多数GPT-3模型。

• 实用提示：官方维护的tiktoken库全面覆盖这三款模型的分词与令牌计数需求，是更稳妥的选择；gpt-3-encoder虽主打GPT-3，但也能兼容GPT-3.5的计数场景。

内容的提问来源于stack exchange，提问作者Piotr Migdal