对象存储
- 文档首页 /
- 对象存储
基于业务无损的在线迁移
最近更新时间：2023.05.30 21:49:57
首次发布时间：2023.05.30 21:49:57
本文介绍在业务无损的情况下将第三方服务中的数据迁移到 TOS 的方案说明及操作步骤。
业务场景
如果您的业务已在其他第三方服务运行，当您需要迁移至 TOS 时，需要保证业务的稳定，避免因为数据迁移导致业务受损。您可以参考本文档，使用存储迁移服务及镜像回源规则，实现业务的无损迁移。
方案说明
迁移流程图
迁移流程说明
使用 DMS 或 Rclone 等服务工具将存量数据全部迁移到火山引擎对象存储 TOS，此时原业务系统依然使用原来的存储服务。
在火山引擎 TOS 存储桶上配置镜像回源，配置源端的访问 URL 路径。
配置业务系统，将业务系统的存储访问对接到火山引擎 TOS。配置后，新增数据会直接写入火山引擎 TOS，之前未迁移的数据将通过镜像回源规则从源桶迁移至火山引擎存储桶，保证业务系统的正常运行。
使用 DMS 或 Rclone 等服务工具迁移之前业务迁移期间产生的增量数据，最终完成数据和业务迁移。
迁移步骤
前提条件
根据源端的对象存储厂商和接口类型，确定迁移工具。
调研源端对象存储的容量、对象数量、业务带宽和 QPS 能力。
操作步骤
步骤一：通过存储迁移服务迁移全量数据
本文以使用 DMS 迁移为例，如果您希望使用 Rclone 工具迁移，详细说明，请参见 Rclone 概述。
当前 DMS 支持通过公网和专线进行数据迁移，迁移源可以支持多个云厂商的对象存储，同时也支持以导入 URL 列表方式进行数据迁移。
登录存储迁移服务控制台。
在迁移任务列表页面，单击创建迁移任务。
在设置源端及目的端页面，设置源端及目的端参数。
设置完成后，单击提交。
步骤二：配置镜像回源
配置了镜像回源规则后，当请求的对象在桶中不存在时，TOS 将从规则设置的源站拉取该文件，返回给请求方的同时将该文件写入到桶中。
登录对象存储控制台。
单击左侧导航栏的桶列表，在桶列表页面单击目标桶名称。
选择左侧导航栏中的基础设置 > 回源设置，在回源设置页面，单击创建规则。
在创建回源规则页面，配置相应参数。
参数 说明 回源方式 选择镜像回源。 回源条件 当前仅支持 HTTP状态码404。 回源地址
设置镜像回源的地址，如果是第三方云服务厂商，需设置相应存储桶的桶域名。
协议：可选 https 或 http。
域名：必须为域名格式，不支持 IP 地址。
说明
单击添加字段，可继续添加回源地址。最多支持 5 个回源地址。
如果您设置了多个地址，会随机选择一个地址发送请求。如果该地址请求失败，TOS 会自动选择其他地址重试。
是否携带请求参数 选择是。 是否跟随源站重定向 是否跟随源站的 3XX 重定向请求回源，最多可重定向 1 次。默认关闭。 HTTP Header 传递规则
TOS 在访问指定的源站时，允许传递的响应头。支持以下规则：
透传所有 HTTP Header：默认值，选择后透传所有参数，但以下请求头不会透传：Host、Content-length、Date、Authorization。
透传指定 HTTP Header：指定允许传递的 Header，最多可添加 10 个。
禁止透传所有 HTTP Header：选择后禁止透传所有参数。
禁止透传指定 HTTP Header：指定禁止传递的 Header，最多可添加 10 个。
设置完成后，单击确定。
步骤三：业务系统对接火山引擎 TOS
将存储数据迁移至 TOS 后，您可以参考以下步骤，将您的业务切换至 TOS：
创建 IAM 用户，授予相应权限并获取 AKSK，详细步骤请参见以下文档：
根据您的业务需求，选择对应语言的TOS SDK集成开发。TOS 支持的 SDK 语言，请参见 SDK 概述。
使用 TOS SDK，进行业务 TOS 的接口开发和测试。
测试完成后，在业务低峰期，升级业务系统软件版本，切换对接 TOS 存储系统。
步骤四：使用存储迁移服务迁移增量数据
迁移增量数据的步骤与步骤一相同，详细信息，请参见创建迁移任务。
配置迁移任务时建议如下：
增量迁移间隔：如果需要迁移的数据量小于 100 TiB，建议间隔 10 小时；如果大于 100 TiB，建议设置为 24 小时。
增量迁移次数：建议设置为 5 次。
覆盖策略：选择不覆盖。
迁移文件起始时间： 配置早于第一次全量迁移任务的时间点。