传输加速--对象存储-火山引擎

文档中心

导航

对象存储

传输加速

最近更新时间：2024.09.12 18:02:53首次发布时间：2024.08.01 19:52:14

传输加速功能利用火山引擎遍布全球的节点和骨干网基础设施，并使用智能路由解析技术，实现请求就近接入，结合优化的网络传输协议，为对象存储提供了安全、全链路、高质量的网络加速解决方案。本文介绍传输加速的应用场景、注意事项、计费说明以及开启和使用传输加速功能的具体操作。

应用场景

跨境训练数据集传输
对于从事 AI 训练业务的公司，常常面临算力与数据集相距较远，数据集的网络传输慢的问题。通过开启传输加速，可以显著地提升数据传输的速率，解决大规模数据跨境传输的效率问题。
客户端弱网条件下的网络传输
随着移动互联网的发展，越来越多的客户端使用移动网络通信技术接入，然而在基站覆盖盲区、高铁地铁等交通运输工具上、高山荒漠等恶劣环境条件下，客户端网络条件往往无法一直维持优异表现。针对该问题，传输加速功能采用优化的网络传输协议，尽可能使得客户端在恶劣的网络条件下享受较为顺畅的上传下载体验。
如果您的业务主要面向移动互联网用户，那么使用传输加速功能可以使您的应用在竞争中具备一定的技术优势。
静态数据长距离传输
如果您的用户遍布全国，可以使用传输加速功能，提升远离数据存储地的用户在长距离网络访问中的体验，例如游戏安装包下载、相册上传和下载、网盘上传和下载等场景。

计费说明

传输加速费用是单独的计费项，不同的场景使用传输加速，计费项不同，常用场景说明如下：

如果您在上传文件时使用传输加速，TOS 会收取请求次数费用和传输加速流入流量费用。
如果您在下载文件时使用传输加速，TOS 会收取请求次数费用、公网流出流量费用和传输加速流出流量费用。
如果您在中国内地和中国内地以外地区进行跨区域复制时使用传输加速，TOS 会收取请求次数费用、源端桶的跨区域复制流量费用和传输加速流出流量费用。

关于传输加速费用的详细介绍，请参见传输加速费用。

注意事项

类别	注意事项
计费	仅使用传输加速功能，才会收取相应费用。开通传输加速功能后，没有使用该功能，则不会收取费用。
权限	只有 Bucket 拥有者以及被授予 tos：PutBucketTransferAcceleration 权限的用户才可以配置传输加速。关于授权的详细介绍，请参见配置 IAM 策略。
生效时间	开启或关闭传输加速功能后，预计需要等待 30 分钟，才能生效。
日志	出于数据传输安全的目的，传输加速功能会视情况使用 HTTPS 协议，即使您在客户端使用 HTTP 协议访问 TOS，在日志中可能看到的是 HTTPS 协议。
网络	传输加速功能仅支持公网，暂不支持内网。传输加速功能仅支持 IPv4 协议进行通信，不支持双栈。传输加速的默认限速为 5 Gbps。如果您的业务有更大的带宽需求，请提交工单联系技术支持。
使用限制	开启传输加速功能后，您可以使用两种域名访问 TOS。仅使用传输加速域名时，可以享受加速效果；使用默认域名，不享受传输加速效果。说明如下：桶默认域名：<bucketname>.tos-<Region>.volces.com 传输加速域名：<bucketname>.tos-accelerate.volces.com；<bucketname>.tos-s3-accelerate.volces.com 如果您未开通传输加速功能，就使用传输加速域名访问 TOS ，则访问会失败。
操作限制	ListBuckets、CopyObject、同区域复制不支持使用传输加速功能。仅中国内地和中国内地以外地区之间的跨区域复制支持使用传输加速功能，且该场景下必须开启传输加速功能，开启后无法关闭。中国内地和中国内地之间的跨区域复制不支持使用传输加速功能。

开启传输加速

登录对象存储控制台。
在左侧导航栏，单击桶列表，在桶列表页面单击目标桶名称。
在左侧导航栏，选择域名与传输加速>传输加速。
在传输加速页面，单击编辑，选择开启传输加速，然后单击确定。
在确定开启传输加速对话框，单击确定。
开启传输加速功能后，预计需要等待 30 分钟才能生效，请您耐心等待。
说明
在传输加速页面，单击编辑，选择关闭传输加速，单击确定，然后在弹出的对话框，单击确定。完成以上操作后，即可关闭传输加速功能。

使用传输加速

传输加速域名默认为 tos-accelerate.volces.com 和 tos-s3-accelerate.volces.com，您也可以在开启传输加速后，在传输加速页面获取传输加速域名，然后您可以使用传输加速域名访问 TOS。

使用 API

使用 SDK

使用 tosutil

使用 TOS Browser

使用浏览器

使用 API 访问 TOS 时，您需要将请求 Host 中的域名替换为传输加速的域名，即可使用传输加速功能。以下以 GetObject 为例。

GET /objectName HTTP/1.1
Host: bucketname.tos-accelerate.volces.com
Date: Fri, 30 Jul 2021 08:05:36 GMT
Authorization: authorization string

使用 SDK 访问 TOS 时，您需要将各语言的 endpoint 替换为传输加速域名，即可使用传输加速功能。以下以 Go 语言的普通上传本地文件为例。关于 SDK 文档详细介绍，请参见 SDK 概览。

package main

import (
   "context"
   "fmt"

   "github.com/volcengine/ve-tos-golang-sdk/v2/tos"
)

func checkErr(err error) {
   if err != nil {
      if serverErr, ok := err.(*tos.TosServerError); ok {
         fmt.Println("Error:", serverErr.Error())
         fmt.Println("Request ID:", serverErr.RequestID)
         fmt.Println("Response Status Code:", serverErr.StatusCode)
         fmt.Println("Response Header:", serverErr.Header)
         fmt.Println("Response Err Code:", serverErr.Code)
         fmt.Println("Response Err Msg:", serverErr.Message)
      } else if clientErr, ok := err.(*tos.TosClientError); ok {
         fmt.Println("Error:", clientErr.Error())
         fmt.Println("Client Cause Err:", clientErr.Cause.Error())
      } else {
         fmt.Println("Error:", err)
      }
      panic(err)
   }
}

func main() {
   var (
      accessKey = os.Getenv("TOS_ACCESS_KEY")
      secretKey = os.Getenv("TOS_SECRET_KEY")
      // 使用传输加速功能，填写传输加速的 endpoint
      endpoint = "https://tos-accelerate.volces.com"
      region   = "cn-beijing"
      // 填写 BucketName
      bucketName = "*** Provide your bucket name ***"

      // 将文件上传到 example_dir 目录下的 example.txt 文件
      objectKey = "example_dir/example.txt"
      ctx       = context.Background()
   )
   // 初始化客户端
   client, err := tos.NewClientV2(endpoint, tos.WithRegion(region), tos.WithCredentials(tos.NewStaticCredentials(accessKey, secretKey)))
   checkErr(err)
   // 直接使用文件路径上传文件
   output, err := client.PutObjectFromFile(ctx, &tos.PutObjectFromFileInput{
      PutObjectBasicInput: tos.PutObjectBasicInput{
         Bucket: bucketName,
         Key:    objectKey,
      },
      FilePath: "./example.txt",
   })
   checkErr(err)
   fmt.Println("PutObjectV2 Request ID:", output.RequestID)
}

您需要在使用 config 命令进行初始化配置时，设置 Endpoint 为传输加速域名，具体操作，请参见步骤一：初始化配置。示例如下：

# -i 参数指定账号/子账号的 access key
# -k 参数指定账号/子账号的 secret key
# -e 参数指定访问的 endpoint
# -re 参数指定访问的 region
./tosutil config -i <access key> -k <secret key> -e tos-accelerate.volces.com -re <region>

完成初始化配置后，即可在 tosutil 使用传输加速功能。

测试传输加速的效果

您可以使用网络测速工具来检测传输加速对客户端访问某个地域 TOS 的影响，比较开启传输加速和未开启传输加速时的访问速度，以评估传输加速的效果。

登录对象存储控制台。
在左侧导航栏，单击网络测速工具。
选择需要测试的地域，单击立即检测。
说明
选择地域时，您可以选择多个地域，同时测试从客户端访问多个地域的速度。
当测速状态由检测中变为成功，说明测速完成。完成网络测速后，您可以在网络测试工具页面查看开启传输加速和未开启传输加速时，从客户端上传文件到 TOS 和从客户端下载文件到 TOS 的速度。

可观测性

日志分析

传输加速流量统计

日志记录了 TOS 的访问请求，当日志字段 RequestSourceType 为 accelerate时，表示请求为传输加速请求，您可以通过该字段查询传输加速请求的时间、来源 IP 、请求的 Object Key 等信息，关于日志详细介绍，请参见日志分析。

登录对象存储控制台。
在左侧导航栏，单击桶列表，在桶列表页面单击目标桶名称。
在左侧导航栏，单击日志管理。
在检索分析页签下，设置查询的时间范围，在检索框输入 RequestSourceType:accelerate，单击搜索。
在原始日志页签下，查看传输加速请求相关的日志内容，包括请求时间、来源 IP、账号 ID 等信息。

FAQ

TOS 传输加速功能与使用火山引擎全球加速+TOS 默认域名进行加速有哪些区别？
相比使用火山引擎全球加速+TOS 默认域名进行加速，TOS 传输加速支持一键开通，无需准备域名，操作简单灵活。
在下载文件场景下，传输加速是否支持与火山引擎 CDN 服务结合使用？
在下载文件场景下，传输加速支持与 CDN 结合使用，可以提高 CDN 回源的速度和成功率。