You need to enable JavaScript to run this app.
导航
模型单元
最近更新时间:2025.05.30 14:44:12首次发布时间:2025.03.24 11:59:23
我的收藏
有用
有用
无用
无用

模型单元提供隔离性更强的独占资源,适合对精调模型有一定延迟要求的场景,也适合生产级高SLA要求的场景。选择购买模型单元,通常可以获得更大的模型服务调用的并发量,使用量的计算单位也会从 token 使用量,变为模型单元的使用时长。本文为您介绍模型单元的适用场景、支持模型、购买说明等内容。

适用场景

集中典型的应用场景如下:

  • 线上生产业务,对资源确定性要求高,希望在流量峰值必须保障资源。
  • 模型经过 LoRA 精调后,在推理时获得更低延迟。
  • 模型经过全量精调后,在推理时获得更低延迟。
  • 实际业务并发高,TPM、RPM(Request per Minute,单位时间请求量)超过方舟平台默认的限定值。

支持模型

具体支持模型情况,以控制台显示为准

  • doubao-lite-4k
  • doubao-lite-32k
  • doubao-lite-128k
  • doubao-pro-4k
  • doubao-pro-32k
  • doubao-pro-128k

使用说明

  • 模型单元为您选择的模型提供了一定量的算力,您可以联系平台获取相应算力可承载的并发能力,更建议您通过实际业务流量压测,准确判断需要的模型单元数量。
  • 模型单元预计可承载性能(Tokens Per Second,TPS)是按照输入:输出 = 10:1 的数据压测得到。实际用户的输入输出比例对性能的影响较大,建议您通过实际业务流量压测,准确判断需要的模型单元数量。
  • Lora精调后的模型推理性能相较平台预置模型的推理会有一定程度的降低。

计费说明

模型单元按使用时长计费,支持按小时后付费和包月预付费,两种方式可叠加购买,单价请参见 模型单元(邀测)

后付费(按小时)

按照实际购买时长付费,精确到秒,适合短期、弹性需求,避免浪费

  • 计费特点:按照实际购买时长收费,计费粒度精确到秒。购买后持续计费,如需停止计费可在接入点详情页进行退订。

    举例:假设您在16:00下单成功,在18:20:31退订成功。则计费时长为 2 小时 2 分钟 31 秒,计费单价会换算成每秒钟单价进行计算。

  • 计费粒度:秒。不足一秒按一秒计算。
  • 出账周期:按小时结算,账单出账时间通常在当前计费周期结束后1-2小时左右,具体以系统实际出账时间为准。例如:16:00-17:00 的账单约在 18:00-19:00 出账。
  • 欠费说明:欠费后,资源会继续保留,依然会产生费用。欠费24小时后,将回收资源停止计费。请及时续费或销毁资源。

预付费(按月)

按月预留资源,享受更优惠价格,适合中长期稳定需求

  • 生效时间:购买后,按照自然日立即生效。
  • 到期时间:从购买日算起,到期时间为到期自然日+1 天的中午 12 点。7 天内到期的模型单元会出现到期提醒。如您在 5 月 13 日上午 9 点购买一个月的模型单元,相当于您购买了到期时间为 6 月 13 日 24 点的资源,实际到期时间为 6 月 14 日中午 12 点整。
  • 到期回收:资源到期后将被回收,您可以在资源被回收前在方舟产品控制台或订单管理页面进行续费,回收时间为到期时间+ 48 小时。即如您在 5 月 13 日上午 9 点购买一个月的模型单元,相当于您购买了到期时间为 6 月 13 日 24 点的资源,在 6 月 15 日 24 点之前都可以进行续费。在回收期结束后,模型单元无法续费,您需要重新创建一个模型推理接入点来满足继续使用的需求。
  • 续费说明:强烈推荐您为资源配置自动续费,以避免由于未配置自动续费导致的业务中断。

购买说明

说明

此为邀测能力,如需使用,提交测试申请工单

购买模型单元,可以配置购买模型单元的数量、时长、是否自动续费等,详细请参见配置参数说明

如果业务对于延时有需求,请通过工单提需求。

  1. 访问方舟控制台-在线推理,切换到自定义推理接入点页签,单击 创建推理接入点

Image

  1. 在打开的页面中填写接入点名称,选择模型类型,并选择购买方式为”按单元付费“。

如果您无法购买,请按照控制台上的提示提交工单申请。

Image

  1. 选择需要购买的单元数量,并选择计费方式为”后付费“或”预付费“。其他相关配置参数可以查看配置参数说明

Image

配置参数说明

配置名称

配置说明

计费类型

必填,当选择了 按模型单元付费 ,需要选择计费类型。

  • 后付费:按照模型单元运行时长付费,适合模型推理服务波动较大或者无法预测的场景,使用更加灵活。

说明

购买后付费模型单元的前提是账号中的余额大于 100 元,否则无法成功下单。

  • 预付费:按月预留资源,提供更优惠价格,适合模型推理服务波动较小,可预测的场景。
  • 组合使用:预付费模型单元和后付费模型单元支持叠加使用。创建推理接入点时只能选择 1 种计费类型,操作叠加购买多种模型单元,需要创建完成推理接入点后,在推理接入点详情页进行配置。

说明

如下图所示,日常有基础访问次数以及在某时间段有高峰期的时段,可以考虑通过预付费方式购买基础访问次数匹配的模型单元以获得优惠价格;再通过购买灵活变动的后付费模型单元,来应对高峰期的超出基础次数的模型服务请求。

购买时长

必填。选择模型单元购买时长,即模型单元包月的时长。

自动续费

选填,费用到期后,是否自动续费。

说明

推荐您开通自动续费,可避免续费不及时导致业务中断。

  • 单次续费时长

必填,当开启了自动续费,需要配置单次续费时长,单位:月。

  • 自动续费次数

必填,当开启了自动续费,需要配置自动续费执行的次数。支持永久生效自定义次数

调整数量/续费/退订

  1. 访问方舟控制台-在线推理,切换到“自定义推理接入点”页签。
  2. 单击目标接入点名称,进入接入点概览页。在算力保障区域,根据需要对模型单元进行调整数量、续费或退订。

注意

  • 模型单元是按实例组购买的,点击接入点名称详情中复制的模型单元 ID 是实例组 ID,实例组存在强绑定关系,因此续费、退订须同步发起。
  • 请注意,未到期的模型单元退订会产生惩罚系数,无法 100%退费。

Image