OPENAI调用中Prompt Tokens数值不符疑问及定价计算解析

问题场景 #

• 将含纯文本的txt文件上传至Qdrant，计算OpenAI调用的Token定价时，提问「Who is Michael Jordan?」并通过get_openai_callback追踪Token数量及成本
• 自行通过tiktoken计算：查询语句Token数为4，txt文件内容「Michael Jeffrey Jordan is an American businessman and former basketball player who played as a shooting guard」的Token数为17，两者总和为21
• 但get_openai_callback返回的Prompt Tokens数值为68，与预期不符

排查与解决过程 #

1. 初始排查：查阅OpenAI官方文档、GitHub及相关论坛，未找到明确说明
2. 启用LangChain调试模式：设置import langchain; langchain.debug = True后重新运行get_openai_callback，发现Prompt Tokens中包含了AI响应格式指令的Token数，这正是导致数值差异的原因

内容的提问来源于stack exchange，提问作者zangs