You need to enable JavaScript to run this app.
导航
对象存储
  • 文档首页
    • /
  • 对象存储

创建迁移任务

最近更新时间：2024.04.22 20:37:44

首次发布时间：2023.08.14 18:05:40

我的收藏

本文介绍如何使用 TOS Import 创建迁移本地文件、URL 文件和支持 S3 协议的对象存储文件的任务。

前提条件

已部署迁移环境。具体操作，请参见部署迁移任务 。

配置说明

单机部署和分布式部署的创建迁移任务的操作相同。您需要配置 task 目录下 YAML 文件来创建迁移任务，不同的数据源需要配置对应的 YAML 文件：

数据源

对应的 YAML 文件

本地文件

task-local.template.yaml

URL 文件

task-url.template.yaml

支持 S3 协议的对象存储文件

task-s3.template.yaml

注意事项

类别

说明

通用

  • TOS Import 需要存储中间结果到工作目录，每个对象 2KB 左右（对象名称越长，占用空间越大），您需要根据的对象数量预估需要的磁盘占用量，保证足够磁盘空间。迁移完成后，删除迁移任务会自动删除这些中间结果文件。
  • 使用 TOS Import 迁移文件到 TOS 后，文件的存储类型默认为标准存储。

URL 列表文件

  • 当数据源为 URL 列表文件时，最多支持迁移 300G 及以下的数据。
  • 当前仅支持处理 UTF-8 编码的 URL 列表文件。

其他云存储文件

迁移其他云存储文件到 TOS 时，仅迁移已解冻的延迟访问存储类型文件，不迁移未解冻的延迟访问存储类型文件。
各个数据源的延迟访问存储类型如下：

  • 阿里云：归档存储（Archive）、冷归档存储（ColdArchive）
  • 腾讯云：归档存储（ARCHIVE）、深度归档存储（DEEP_ARCHIVE）
  • 华为云：归档存储（COLD）、深度归档存储（DEEP_ARCHIVE）
  • 七牛云：归档存储、深度归档存储
  • 金山云：归档存储类型
  • 其他 S3 协议存储：GLACIER、DEEP ARCHIVE。

迁移本地文件

说明

迁移本地文件时，仅支持迁移硬链接类型文件，不支持迁移软链接类型文件。

  1. 进入到 /root/tos-import/task 目录，执行以下命令，编辑 task-local.template.yaml 文件，并配置参数，然后保存并退出。

    说明

    本文以 TOS Import 工具包解压到 /root 目录下为例。

    vi task-local.template.yaml

    task-local.template.yaml 文件内容如下：

    说明

    关于 task-local.template.yaml 文件参数的详细说明，请参见配置文件说明。

    task_name: "tesk01"                                    #迁移任务名称                               
src_type: "local"                                      #迁移源端类型
src_prefix: "/root/uploads"                            #需要迁移的源端文件路径前缀，用于迁移指定前缀的文件
src_suffix: ""
dest_type: "tos"                                       #目的端类型
dest_ak: "your access key"                             #访问目的端对象存储的 AccessKey ID。
dest_sk: "your secret key"                             #访问目的端对象存储的 Secret AccessKey 。
dest_security_token: ""
dest_region: "cn-beijing"                              #目的端 Region。
dest_endpoint: "http://tos-cn-beijing.volces.com"      #目的端域名。
dest_http_proxy: "" 
dest_bucket: "test"                                    #目的端存储桶的名称。
dest_prefix: ""
rename_regex: ""
rename_to: ""
is_incremental: false
incremental_interval: 3600
incremental_times: 3
import_since: ""
over_write_policy: "force"
task_bandwidth: 102400
task_file_mps: 1000
verify_data_crc64: true
failed_num_to_abort: 0

  2. 进入到 /root/tos-import 目录。执行以下命令，创建迁移任务。

    ./tos-import create  --conf task/task-local.template.yaml

    预期返回以下内容：

    Create migrate task 'task01' success , source type:local

迁移 URL 列表文件

  1. 进入到 /root/tos-import/task 目录，执行以下命令，编辑 task-url.template.yaml 文件，并配置参数，然后保存并退出。

    说明

    本文将 TOS Import 工具包解压到 /root目录下为例。

    vi task-url.template.yaml

    task-url.template.yaml 文件内容如下：

    说明

    关于 task-url.template.yaml 文件参数的详细说明，请参见配置文件说明。

    task_name: "task02"                                    #迁移任务名称
src_type: "url"                                        #迁移源端类型
src_http_proxy: ""
url_list: "/root/url.list"                             #URL 列表文件路径
dest_type: "tos"                                       #目的端类型
dest_ak: "your access key"                             #访问目的端对象存储的 AccessKey ID
dest_sk: "your secret key"                             #访问目的端对象存储的 Secret AccessKey 
dest_security_token: ""
dest_region: "cn-beijing"                              #目的端 Region
dest_endpoint: "http://tos-cn-beijing.volces.com"      #目的端域名
dest_http_proxy: ""
dest_bucket: "test"                                    #目的端存储桶的名称。
dest_prefix: ""
task_fast_list: false  
rename_regex: ""
rename_to: ""
task_bandwidth: 102400
task_file_mps: 1000
verify_data_crc64: true
failed_num_to_abort: 0

  2. 进入到 /root/tos-import 目录，执行以下命令，创建迁移任务。

    ./tos-import create  --conf task/task-url.template.yaml

    预期返回以下内容：

    Create migrate task 'task02' success , source type:url

迁移其他云存储文件

  1. 进入到 /root/tos-import/task 目录，执行以下命令，编辑 task-s3.template.yaml 文件，并配置参数，然后保存并退出。

    说明

    本文将 TOS Import 工具包解压到 /root目录下为例。

    vi task-s3.template.yaml

    task-s3.template.yaml 文件内容如下：

    说明

    关于 task-s3.template.yaml 文件参数的详细说明，请参见配置文件说明。

    task_name: "task03"                                   #迁移任务名称
src_type: "s3"                                        #迁移源端类型
src_ak: "your access key"                             #访问源端对象存储的 AccessKey ID
src_sk: "your secret key"                             #访问源端对象存储的 Secret AccessKey 
src_security_token: ""
src_region: "oss-cn-beijing"                          #源端对象存储的 Region
src_endpoint: "http://oss-cn-beijing.aliyuncs.com"    #源端对象存储的 S3 访问域名
src_http_proxy: ""
src_bucket: "aaa"                                     #源端存储桶的名称
src_prefix: ""
src_suffix: ""
src_object_list: "" 
src_object_prefix_list: ""   
task_fast_list: false    
dest_type: "tos"                                      #目的端类型
dest_ak: "your access key"                            #访问目的端对象存储的 AccessKey ID
dest_sk: "your secret key"                            #访问目的端对象存储的 Secret AccessKey
dest_security_token: ""
dest_region: "cn-beijing"                             #目的端存储桶的 Region
dest_endpoint: "http://tos-cn-beijing.volces.com"     #目的端对象存储的访问域名
dest_http_proxy: ""
dest_bucket: "test"                                   #目的端存储桶的名称
dest_prefix: ""
rename_regex: ""
rename_to: ""
is_incremental: false
incremental_interval: 3600
incremental_times: 3
import_since: ""
over_write_policy: "force"
task_bandwidth: 102400
task_file_mps: 1000
verify_data_crc64: true
failed_num_to_abort: 0

  2. 进入到 /root/tos-import 目录，执行以下命令，创建迁移任务。

    ./tos-import create  --conf task/task-s3.template.yaml

    预期返回以下内容：

    Create migrate task 'task03' success , source type:s3

相关操作

您还可以执行暂停、删除迁移任务等操作，详细介绍，请参见常用命令。