OpenAI API的TPM限制计算范围：仅输入tokens还是输入输出合计？

确切结论：TPM（每分钟令牌数）限制是合并计算请求中的input tokens和output tokens的总和，并非仅统计input tokens。

举个例子，若你的TPM额度为200万，意味着每分钟内所有请求的输入令牌与输出令牌的总量之和不能超过200万。

这个计算规则适用于OpenAI所有支持TPM限制的模型（包括GPT-3.5、GPT-4系列等），系统会将每个请求的输入、输出令牌数相加后计入每分钟的统计池，一旦累计总量达到限额，后续发起的请求会触发速率限制相关报错。

内容的提问来源于stack exchange，提问作者Adabler