随着 AI、大数据分析等新一代信息技术的快速发展,企业对数据访问延迟、吞吐量等能力提出了更高的要求。在此背景下,TOS 推出 AZ 级别的加速器功能,将 TOS 中的高频访问文件缓存在 NVMe SSD 高性能存储介质上,支持毫秒级延迟的快速响应和高吞吐量的数据传输能力,满足业务性能需求。
功能介绍
加速器创建成功后,您可以通过加速域名访问 TOS 加速器内资源,实现数据加速访问。访问流程如下。

读请求
TOS 加速器当前仅支持纯读缓存模式,通过该模式提高数据读取性能,具体的读请求访问流程如下:
- 客户端通过加速域名向加速器发送读请求,该请求会自动转发到 TOS 加速器。
- 收到读请求后,TOS 加速器会从缓存空间中查找数据。
- 如果加速器中存在该数据,则直接返回给客户端。
- 如果加速器不存在该数据,则从 TOS 中读取数据返回给客户端,同时写入到缓存空间,此时如果缓存空间已满,则根据数据热度淘汰缓存空间中的低热度数据,再将数据写入缓存空间。
写请求
TOS 加速器当前仅支持纯读缓存模式,写请求并没有加速效果,具体写请求访问流程如下:
客户端通过加速域名向加速器发起写请求时,请求会直接转发至 TOS,并将数据写入到 TOS 中。
功能优势
- 低时延
数据和客户端处于同一可用区,且采用 NVMe SSD 高性能存储介质,为业务提供个位数毫秒级的下载延迟。 - 高吞吐能力
TOS 加速器的带宽随容量线性增长,提供高达百 GB/s 的突发吞吐能力,为业务提供流畅稳定的数据传输保障。 - 高性能密度
纯读缓存模式下,TOS 加速器提供 300MBps/TiB 的容量性能密度。 - 数据强一致性
当 TOS 上的数据发生变化,通过加速器读取数据时,加速器会自动重新加载新数据,确保始终获取到最新的数据。 - 弹性伸缩
加速器容量可以灵活地扩容或缩容,适应业务快速变化。扩容立即生效,缩容支持每小时修改 1 次,步长为 1GiB。 - 存算分离
与计算服务器上的缓存空间不同,TOS 加速器可以脱离计算服务器独立运行,支持在线调整缓存空间大小和性能。 - 多种预热策略
TOS 加速器提供多种预热方式,包括读时预热、同步预热和异步预热,满足不同业务场景的预热需求,提升访问效率。
- 读时预热:如果访问的数据在加速器中不存在,则会从 TOS 读取数据返回给客户端,同时写入到加速器。默认开启,不可配置。
- 同步预热:通过加速域名写入数据时,数据将同时写入到加速器和 TOS 中。具体操作,请参见创建加速器。
- 异步预热:执行预热任务,将目标数据提前写入到加速器中。具体操作,请参见创建预热任务。
- 免费数据流动带宽
TOS 加速器提供免费的数据流动带宽,不会占用您账号下的 TOS 内网带宽配额,便于您的加速器与 TOS 进行数据交互。
使用场景
TOS 加速器为业务应用提供了高性能访问、弹性扩展的能力,适用于大带宽、数据重复读的场景,说明如下:
- 模型训练和推理
- 开发机等非正式训练或训练前数据生产阶段,需要高带宽、高QPS、但对时延相对不敏感(接受个位数毫秒时延),可利用加速器获得更好的成本及性能体验。
- 模型训练或推理阶段,需要高带宽、高QPS、且对时延要求高,一般主要使用近计算侧高性能缓存产品。但由于计算服务器缓存空间有限,当近计算侧缓存空间不足时,需要更快的数据流动效率,此时 TOS 加速器可以作为二级缓存,加速一级缓存读取 TOS 的效率,减少缓存空间不足带来的影响。
- 大数据分析加速
大数据分析场景下对数据进行查询分析时,数据量通常非常庞大,不确定数据查询范围,且对时效性要求较高。TOS 加速器可以将 TOS 上的数据提前加载至缓存,减少分析延迟,提升分析效率。 - 数据渲染
在特效渲染、游戏场景制作等渲染类场景,通常需要高 QPS 以确保流畅的用户体验,TOS 加速器可以将 TOS 上的海量素材提前加载至缓存,提升数据访问性能,满足小文件场景下高 QPS 的需求。
性能指标
指标 |
说明 |
---|
加速器容量 | 50GiB ~ 200TiB
如果您的业务有更大加速器缓存容量需求,请提交工单。 |
读带宽 | Max{600MB/s,0.3MB/s/GiB × 加速器容量(GiB)},
例如,加速器容量为 3000GiB,则加速器读带宽为 900MB/s。 说明 读带宽最大值为 60GB/s,如果您的业务有更大加速器读带宽需求,请提交工单。 |
写带宽(通过加速域名写TOS的带宽) | TOS 的内网上传带宽,详细介绍,请参见约束限制。 |
数据流动带宽(即 TOS 加速器与 TOS 之间的数据流动带宽) | Min{TOS 加速器带宽-业务实际读请求带宽,TOS加速器带宽 × 10%} 说明 - 数据流动带宽的最大值为 20GB/s。
- 数据流动带宽为 TOS 提供的免费带宽,不会占用您账号的内网带宽配额,关于带宽配额详细介绍,请参见约束限制。
- 通过加速域名写入的带宽受到同步预热功能的影响,同步预热功能的状态不同,对应带宽值也不同,具体带宽计算方式如下:
- 未开启同步预热:TOS 的内网上传带宽,详细介绍,请参见约束限制。
- 开启同步预热:Min{数据流动带宽, 内网上传带宽}
|
写带宽(通过加速域名写TOS的带宽) | TOS 的内网上传带宽,详细介绍,请参见约束限制。 |
QPS | - 读 QPS:计算公式为实际读带宽(MB/s) × 30,值范围为 [1.8 万,30 万]
- 写 QPS:计算公式为实际读带宽(MB/s) × 10,值范围为 [0.6 万,10 万]
如果您的业务有更大加速器 QPS 需求,请提交工单。 |
时延(Block Size=4K) | 向加速器发起请求时,时延受到客户端与加速器所处地理位置的影响,说明如下: - 如果客户端与加速器处于同地域同可用区,时延为 2~3 毫秒。
- 如果客户端与加速器处于跨地域跨可用区或同地域跨可用区,受到网络链路距离增加的影响,访问时延会增加。
|
计费说明
TOS 加速器当前处于邀测阶段,邀测期间免费。预计于 2025 年 9 月 1 日 10:00:00 收取加速器容量费用,具体收费时间会提前通知。详细费用说明如下:
计费项 | 计费项介绍 | 计费方式 |
---|
加速器只读-basic300-容量费用 | 使用 TOS 加速器的纯读缓存模式时,会按照申请的预配置容量计费,与实际存储的数据量无关。 | 按量计费:每小时存储容量费用 = 预配置的存储容量(GiB) × 月单价 ÷ 30(天)÷ 24(小时) |
使用流程
- 创建加速器
- (可选)创建预热任务
- 使用加速器