关于Azure OpenAI自定义数据场景下prompt_token计费及异常高token消耗的咨询

我已经配置了Azure OpenAI的“使用自有数据”功能，也完成了基于自有数据与模型对话的相关设置，原本的目的是想通过这种方式降低每次请求的token使用量。

但最近我发现了一个异常情况：就算我发送的用户内容里完全没有自定义prompt，依然会产生大量额外的prompt_token消耗。比如我只发送一句简单的“hello there”，最终的总token数居然达到了2628个，但正常来说这个内容应该只产生24个token才对；如果发送一段7个词的文本，总token数大概会飙升到3.4k左右。

给大家看一个具体的请求示例：

[{"role": "system", "content": ""}, {"role": "user", "content": "hello there"}]

对应的token统计结果是：

{"completion_tokens": 24, "prompt_tokens": 2604, "total_tokens": 2628}

备注：内容来源于stack exchange，提问作者alper