GenKit中聊天历史是否计入模型输入Token计费范围?
GenKit聊天历史的Token计费问题
在使用GenKit调用大模型时,存在疑问:传递给模型的聊天历史(history参数)是否会被计入输入Token的计费?还是仅prompt字段的内容才会产生输入Token费用?
示例代码:
let history: MessageData[] = [ { role: 'system', content: [{ text: 'Talk like a pirate.' }] }, ]; let response = await generate({ model: geminiPro, prompt: "How do you say 'dog' in French?", history, }); history = response.toHistory();
根据GenKit官方文档的说明,聊天历史(history)和prompt字段的内容都会被计入输入Token计费。
当调用generate方法时,GenKit会将history中的所有消息(包括示例中的system角色提示)与prompt内容拼接成完整的输入上下文,一起发送给目标模型(如示例中的Gemini Pro)。模型会基于整个上下文生成响应,因此上下文里的所有内容对应的Token都会被统计并纳入输入费用计算。
比如示例里的"Talk like a pirate."和"How do you say 'dog' in French?"这两段文本,都会被算作输入Token进行计费。
内容的提问来源于stack exchange,提问作者NickNick
相关产品推荐
相关产品推荐

