AI数据湖服务支持在计算环节调用模型服务，目前支持以下模型：

Token

大模型在处理数据时，以 Token 作为基本单位。Token 是模型推理过程中文本的最小意义单元，它可以是一个单词、汉语里的词语 / 短句、标点符号或数字等。一般来说，一段常规的中文文本中，1 个 Token 大约对应 1.5-2 个汉字。这种划分方式让模型能够高效地理解和处理语言结构，无论是短句还是复杂文本，都能通过 Token 的组合来解析语义。
如语言大模型推理服务费用的一种较为常见的计算方式如下：

费用 = token 使用数量 * token 单价

• 由于不同模型采用的分词策略不同，同一段文本可能会被转化为不同数量的 token。
• 您可以使用Token计算器或者分词 API接口，来估算内容对应的 token 数量。

在线推理

深度思考模型

按 token 使用量付费（后付费）

• 出账时间：每小时出账。
• 付款类型：按量后付费。
• 模型范围：
  • 适用于：调用 doubao 等深度思考模型。
  • 不适用于：全量精调模型。
• 推理服务（输出）：包含模型输出的内容，包括模型返回信息里输出（content字段）以及深度思考模型的思维链（reasoning_content字段）内容。
• 模型单价（刊例价）：如下表，实际购买价格以下单页面为准。

大语言模型

按 token 使用量付费（后付费）

• 出账时间：每小时出账。
• 付款类型：按量后付费。
• 模型单价（刊例价）：如下表，实际购买价格以下单页面为准。

上下文缓存计费

计费项

与普通的在线推理有所不同，使用了Session 缓存后，计费项会变更为下面几个计费项：

• 输入内容：使用会话缓存的有状态 API，您无需重新发送之前的对话轮次。输入token 仅代表添加到正在进行的对话中的新文本。
• 命中缓存内容：Context API 会自动处理之前的对话历史记录，因此在请求期间访问的所有相关的先前对话 token 都将计为缓存命中。缓存命中的计费费率会低于输入，使多轮对话更具成本效益。
• 存储：存储按小时计费，基于每个自然小时内存储的最大 token 数。即使 Context 会一直保留，直到被删除，详细工作原理见触发过期时间。极端情况下 Context 创建后没被使用，收费会持续到上下文的生存时间 (TTL) 过期。
• 输出内容：输出代表模型生成的内容。计费方式与标准语言模型的使用保持一致。

计费逻辑

• Session 缓存计费逻辑请参见计费说明。
• 前缀缓存计费逻辑请参见计费逻辑。

计费单价

离线推理（批量推理）

批量推理计费单价与在线推理后付费价格一致，您仅需为已处理的请求消耗的 token 量付费。
当您的任务计算量大，但又无需即时返回结果，如分析当日汇总新闻信息、翻译长文本、用户反馈分析等大规模数据处理任务，您可使用批量推理发送异步请求，来获得更高的配额（至少10B token/天）及更低的单价（5折甚至更低）。同时，依赖批量推理更灵活的任务调度，即使高峰期，您仍有机会享受可观的任务处理速率。

配额说明

• 批量推理限配额 TPD 计算逻辑：
  • 同账号下按照模型名称（如 doubao-pro-32k-*** 所有版本）汇总计算。
  • 不与在线推理的限流数合并计算。

• 举例说明：您主账号下，doubao-pro-32k 模型，a、b、c 3个的批量推理任务，d、e 2个在线推理任务。则您每天a、b、c 批量推理共用 10 B token 配额，d 、e 共用在线推理任务 TPM、RPM 限流额度。

• 方舟对批量推理设置配额的原则是保障用户间资源分配的公平性，防止滥用或误用接口造成平台过载而服务中断。如您业务需要每天处理更多数据，请提交工单申请。

• 您可以提交超出配额的任务量，当方舟平台有空闲资源，将动态扩展您的配额量。

• TPD的时间计算窗口为24小时滑动窗口，一次短时高并发请求影响后续24小时的配额，与固定窗口相比，您请注意请求分布的均匀性。

• 账号配额，默认每个模型 10B Tokens / 天，可通过工单申请提额。