You need to enable JavaScript to run this app.
导航
创建迁移任务
最近更新时间:2024.05.28 20:05:33首次发布时间:2023.08.14 18:05:40

本文介绍如何使用 TOS Import 创建迁移本地文件、URL 文件和支持 S3 协议的对象存储文件的任务。

前提条件

已部署迁移环境。具体操作,请参见部署迁移任务

配置说明

单机部署和分布式部署的创建迁移任务的操作相同。您需要配置 task 目录下 YAML 文件来创建迁移任务,不同的数据源需要配置对应的 YAML 文件:

数据源

对应的 YAML 文件

本地文件

task-local.template.yaml

URL 文件

task-url.template.yaml

支持 S3 协议的对象存储文件

task-s3.template.yaml

注意事项

类别

说明

通用

  • TOS Import 需要存储中间结果到工作目录,每个对象 2KB 左右(对象名称越长,占用空间越大),您需要根据的对象数量预估需要的磁盘占用量,保证足够磁盘空间。迁移完成后,删除迁移任务会自动删除这些中间结果文件。
  • 使用 TOS Import 迁移文件到 TOS 后,文件的存储类型默认为标准存储。

URL 列表文件

  • 当数据源为 URL 列表文件时,最多支持迁移 300G 及以下的数据。
  • 当数据源为 URL 列表文件时,URL 列表单行长度不能超过 65536 字符(64 KB)。
  • 当前仅支持处理 UTF-8 编码的 URL 列表文件。

其他云存储文件

迁移其他云存储文件到 TOS 时,仅迁移已解冻的延迟访问存储类型文件,不迁移未解冻的延迟访问存储类型文件。
各个数据源的延迟访问存储类型如下:

  • 阿里云:归档存储(Archive)、冷归档存储(ColdArchive)
  • 腾讯云:归档存储(ARCHIVE)、深度归档存储(DEEP_ARCHIVE)
  • 华为云:归档存储(COLD)、深度归档存储(DEEP_ARCHIVE)
  • 七牛云:归档存储、深度归档存储
  • 金山云:归档存储类型
  • 其他 S3 协议存储:GLACIER、DEEP ARCHIVE。

迁移本地文件

说明

迁移本地文件时,仅支持迁移硬链接类型文件,不支持迁移软链接类型文件。

  1. 进入到 /root/tos-import/task 目录,执行以下命令,编辑 task-local.template.yaml 文件,并配置参数,然后保存并退出。

    说明

    本文以 TOS Import 工具包解压到 /root 目录下为例。

    vi task-local.template.yaml
    

    task-local.template.yaml 文件内容如下:

    说明

    关于 task-local.template.yaml 文件参数的详细说明,请参见配置文件说明

    task_name: "tesk01"                                    #迁移任务名称                               
    src_type: "local"                                      #迁移源端类型
    src_prefix: "/root/uploads"                            #需要迁移的源端文件路径前缀,用于迁移指定前缀的文件
    src_suffix: ""
    dest_type: "tos"                                       #目的端类型
    dest_ak: "your access key"                             #访问目的端对象存储的 AccessKey ID。
    dest_sk: "your secret key"                             #访问目的端对象存储的 Secret AccessKey 。
    dest_security_token: ""
    dest_region: "cn-beijing"                              #目的端 Region。
    dest_endpoint: "http://tos-cn-beijing.volces.com"      #目的端域名。
    dest_http_proxy: "" 
    dest_bucket: "test"                                    #目的端存储桶的名称。
    dest_prefix: ""
    rename_regex: ""
    rename_to: ""
    is_incremental: false
    incremental_interval: 3600
    incremental_times: 3
    import_since: ""
    over_write_policy: "force"
    task_bandwidth: 102400
    task_file_mps: 1000
    verify_data_crc64: true
    failed_num_to_abort: 0
    
  2. 进入到 /root/tos-import 目录。执行以下命令,创建迁移任务。

    ./tos-import create  --conf task/task-local.template.yaml
    

    预期返回以下内容:

    Create migrate task 'task01' success , source type:local
    

迁移 URL 列表文件

  1. 进入到 /root/tos-import/task 目录,执行以下命令,编辑 task-url.template.yaml 文件,并配置参数,然后保存并退出。

    说明

    本文将 TOS Import 工具包解压到 /root目录下为例。

    vi task-url.template.yaml
    

    task-url.template.yaml 文件内容如下:

    说明

    关于 task-url.template.yaml 文件参数的详细说明,请参见配置文件说明

    task_name: "task02"                                    #迁移任务名称
    src_type: "url"                                        #迁移源端类型
    src_http_proxy: ""
    url_list: "/root/url.list"                             #URL 列表文件路径
    dest_type: "tos"                                       #目的端类型
    dest_ak: "your access key"                             #访问目的端对象存储的 AccessKey ID
    dest_sk: "your secret key"                             #访问目的端对象存储的 Secret AccessKey 
    dest_security_token: ""
    dest_region: "cn-beijing"                              #目的端 Region
    dest_endpoint: "http://tos-cn-beijing.volces.com"      #目的端域名
    dest_http_proxy: ""
    dest_bucket: "test"                                    #目的端存储桶的名称。
    dest_prefix: ""
    task_fast_list: false  
    rename_regex: ""
    rename_to: ""
    task_bandwidth: 102400
    task_file_mps: 1000
    verify_data_crc64: true
    failed_num_to_abort: 0
    
  2. 进入到 /root/tos-import 目录,执行以下命令,创建迁移任务。

    ./tos-import create  --conf task/task-url.template.yaml
    

    预期返回以下内容:

    Create migrate task 'task02' success , source type:url
    

迁移其他云存储文件

  1. 进入到 /root/tos-import/task 目录,执行以下命令,编辑 task-s3.template.yaml 文件,并配置参数,然后保存并退出。

    说明

    本文将 TOS Import 工具包解压到 /root目录下为例。

    vi task-s3.template.yaml
    

    task-s3.template.yaml 文件内容如下:

    说明

    关于 task-s3.template.yaml 文件参数的详细说明,请参见配置文件说明

    task_name: "task03"                                   #迁移任务名称
    src_type: "s3"                                        #迁移源端类型
    src_ak: "your access key"                             #访问源端对象存储的 AccessKey ID
    src_sk: "your secret key"                             #访问源端对象存储的 Secret AccessKey 
    src_security_token: ""
    src_region: "oss-cn-beijing"                          #源端对象存储的 Region
    src_endpoint: "http://oss-cn-beijing.aliyuncs.com"    #源端对象存储的 S3 访问域名
    src_http_proxy: ""
    src_bucket: "aaa"                                     #源端存储桶的名称
    src_prefix: ""
    src_suffix: ""
    src_object_list: "" 
    src_object_prefix_list: ""   
    task_fast_list: false    
    dest_type: "tos"                                      #目的端类型
    dest_ak: "your access key"                            #访问目的端对象存储的 AccessKey ID
    dest_sk: "your secret key"                            #访问目的端对象存储的 Secret AccessKey
    dest_security_token: ""
    dest_region: "cn-beijing"                             #目的端存储桶的 Region
    dest_endpoint: "http://tos-cn-beijing.volces.com"     #目的端对象存储的访问域名
    dest_http_proxy: ""
    dest_bucket: "test"                                   #目的端存储桶的名称
    dest_prefix: ""
    rename_regex: ""
    rename_to: ""
    is_incremental: false
    incremental_interval: 3600
    incremental_times: 3
    import_since: ""
    over_write_policy: "force"
    task_bandwidth: 102400
    task_file_mps: 1000
    verify_data_crc64: true
    failed_num_to_abort: 0
    
  2. 进入到 /root/tos-import 目录,执行以下命令,创建迁移任务。

    ./tos-import create  --conf task/task-s3.template.yaml
    

    预期返回以下内容:

    Create migrate task 'task03' success , source type:s3
    

相关操作

您还可以执行暂停、删除迁移任务等操作,详细介绍,请参见常用命令