创建迁移任务-使用公共网络

本文介绍如何在存储迁移服务控制台使用公共网络创建迁移任务。

背景信息

存储迁移服务支持以下源端云服务商或数据源类型：

• 阿里云
• 腾讯云
• 华为云
• 七牛云
• 金山云
• 其他 S3 协议对象存储
• 对象存储-火山引擎

  注意

  存储迁移服务只支持在相同地域的火山引擎存储桶之间迁移数据。

前提条件

• 请确保您已注册火山引擎账号并完成实名认证，具体步骤，请参见账号注册及实名认证。

• 已获取数据源端相关信息，例如访问 AccessKey ID 及Secret AccessKey、Endpoint、桶名称等。

• 已在对象存储创建存储桶，具体步骤，请参见创建存储桶。

创建迁移任务

1. 登录存储迁移服务控制台。

2. 在迁移任务列表页面，单击创建迁移任务。

3. 在选择网络页面，配置以下参数。

4. 单击下一步：设置源端及目的端，配置如下源端及目的端参数。

   • 源端类型为对象存储

     参数	说明
     源端类型	数据源端的类型，本场景下选择对象存储。
     数据源	选择具体的数据源： 阿里云：将阿里云上的数据迁移至火山引擎对象存储 TOS。 腾讯云：将腾讯云上的数据迁移至火山引擎对象存储 TOS。 华为云：将华为云上的数据迁移至火山引擎对象存储 TOS。 七牛云：将七牛云上的数据迁移至火山引擎对象存储 TOS。 金山云：将金山云上的数据迁移至火山引擎对象存储 TOS。 其他 S3 协议存储：兼容 S3 协议，并支持 AWS Signature V4 鉴权的对象存储均可使用。 对象存储-火山引擎：将火山引擎对象存储的数据迁移至相同地域的火山引擎对象存储 TOS。 注意 数据源为对象存储-火山引擎时，目的端只可以选择与源端相同 Region 的存储桶，如果您需要跨区域迁移数据，请使用对象存储的跨区域复制功能，跨区域复制功能只支持相同账号之间复制，详细信息，请参见跨区域复制。
     Access Key ID	用于访问源端对象存储的 AccessKey ID。
     Access Key Secret	用于访问源端对象存储的 AccessKey Secret。
     源端桶名	指定要迁移的源端对象存储桶名称。
     源端 Region	指定源端对象存储所在的 Region。
     Endpoint	指定源端对象存储的访问域名，地址前需要输入 http:// 或 https://。 注意 Endpoint 不要携带存储桶名称，否则会导致源端连接失败。
     指定前缀	默认为关闭，开启后可自定义迁移的文件前缀，以过滤源端文件。文件前缀限制说明如下： 1~512 个字符之间。 仅支持字母、数字、斜杠（/）、感叹号（!）、中划线（-）、下划线（_）、点（.）、星号（*）、单引号（'）、左括号（(）、右括号（)）。 说明 指定前缀前，请确保拥有存储桶的 HeadBucket、ListObjects 、HeadObject 和 GetObject 权限，否则会导致迁移结果不符合预期。。

   • 源端类型为 URL列表

   注意

   当源端类型为 URL列表时，存储迁移服务只支持迁移 300G 及以下的数据。

   参数	说明
   源端类型	数据源端的类型，本场景下选择URL列表。
   上传URL列表文件	选择 URL 列表文件的上传方式： 说明 使用手动输入或上传文件迁移时，默认将 URL 路径（域名 / 后的部分）作为对象的名称。如果您想重命名文件，可通过 URL + 空格 + 对象文件名的方式。例如您可以通过 http://xxx.xxx.xxx/xxx/a.jpg b.jpg，将 a.jpg 文件 重命名为 b.jpg。 手动输入：直接输入文件 URL，约束限制如下： 以 http:// 或 https:// 开头，且需要包含一个 URL。 每一行只能包含一个 URL，多个 URL 请换行输入，最多支持输入 1000 个 URL。 上传文件：如果您需要迁移的文件较多，您可以将 URL 记录在文件中，然后将文件上传至控制台，文件约束限制如下： 上传的文件必须为 txt 格式。 文件每一行是一个需要迁移的 URL，多个 URL 请换行输入。 文件大小不能超过 1GB。 下载地址：如果您的 URL 列表文件较大，不适合使用浏览器上传，您可以将 URL 列表文件保存到对象存储，然后选择下载地址，填写列表文件在对象存储的 URL 访问地址。下载地址支持以下两种文件地址获取方式： 选择文件列表：只需要选择源端桶名和源端文件名，不需要填写 AccessKey ID、AccessKey Secret 等详细信息。经过您的授权，DMS 直接读取存储桶列表和文件。 填写访问地址：填写带签名的且签名处于有效期内的 URL 列表文件的公网访问地址。 注意 仅源端数据源为当前火山引擎账号下的对象存储存储桶，且源端存储桶所在地域和目的端存储桶所在地域保持一致时，才可以使用文件列表的方式迁移数据。

   • 目的端参数

     参数	说明
     目的端类型	目的端类型，暂时只支持对象存储（火山引擎 TOS）。
     目的端写入模式	选择目的端写入模式，参数说明如下： 经典模式：使用 AccessKey ID、AccessKey Secret 等信息迁移数据。 跨服务授权模式：使用跨服务授权模式迁移当前账号下的对象存储存储桶，可以不填写 AccessKey ID、AccessKey Secret 等详细信息。经过您的授权，数据迁移服务可直接读取存储桶列表、文件。 注意 如果您使用了子账号创建迁移任务且选择了跨服务授权模式，您需要授予子账号创建 IAM 策略的权限，详细说明，请参见常见问题。
     Access Key ID	用于访问目的端对象存储的 AccessKey ID。
     Access Key Secret	用于访问目的端对象存储的 AccessKey Secret。
     目的端桶名	指定目的端对象存储的桶名称。 注意 如果源端数据源为对象存储-火山引擎，则目的端桶必须与源端桶处于相同地域。 确保拥有目的桶的 HeadBucket、HeadObject、PutObject、ListObjects、CreateMultipartUpload、AbortMultipartUpload、CompleteMultipartUpload 和 UploadPart 权限，否则会导致迁移结果不符合预期。

5. 单击下一步：设置任务参数，配置如下任务参数。

   注意

   单击下一步：设置任务参数，系统会自动校验源端连接信息，如果你设置的信息有误，会弹出权限预检提示对话框，提示您源端或目的端权限不足，继续创建任务有可能导致迁移结果不满足预期。

   参数	说明
   迁移增量文件	默认为关闭，开启后可自定义增量迁移参数，参数说明如下： 增量迁移间隔：在存量迁移（即首次迁移）完成之后，每隔多长时间启动一次增量迁移任务，单位为小时，仅支持 1~24 的整数。 增量迁移次数：在存量迁移（即首次迁移）完成之后，执行增量迁移的次数，仅支持 1~30 的整数。
   跳过归档对象	设置是否跳过归档对象，默认开启，说明如下： 开启跳过归档对象：迁移数据时，不迁移延迟访问存储类型的文件。 关闭跳过归档对象：迁移数据时，迁移已解冻的延迟访问存储类型文件，不迁移未解冻的延迟访问存储类型文件。 说明 各个数据源的延迟访问存储类型如下： 阿里云：归档存储（Archive）、冷归档存储（ColdArchive） 腾讯云：归档存储（ARCHIVE）、深度归档存储（DEEP_ARCHIVE） 华为云：归档存储（COLD）、深度归档存储（DEEP_ARCHIVE） 七牛云：归档存储、深度归档存储 金山云：归档存储类型 其他 S3 协议存储：GLACIER、DEEP ARCHIVE。 对象存储-火山引擎：归档存储（ARCHIVE）、冷归档存储（COLD_ARCHIVE）
   文件重命名	默认为关闭，开启后可设置文件重命名规则，文件重命名支持正则替换，您可以输入需要重命名的正则表达式规则以及需要替换的字符串。例如： 添加前缀 prefix-path/：需要设置正则表达式为 ^，替换文本为 prefix-path/。 修改前缀 prefix-old/ 为 prefix-new/：需要设置正则表达式为 ^prefix-old/，替换文本为 prefix-new/。 删除前缀 prefix-old/：需要设置正则表达式为 ^prefix-old/，替换文本为空。 修改后缀 .txt 为 .csv：需要设置正则表达式为 .txt$，替换文本为 .csv。 修改文件名 abc.jpg 为 aaa.jpg：需要设置正则表达式为 abc，替换文本为 aaa。
   覆盖策略	可指定当源端和目的端出现同名文件时的覆盖策略，策略说明如下： 全量覆盖：针对同名文件，不做任何判断，直接用源端覆盖目的端。 不覆盖：针对同名文件，不做任何判断，直接跳过。 根据最后修改时间覆盖：当源端和目标端出现同名文件时，根据文件的 lastmodify 字段（最后修改时间）判断是否进行覆盖，仅当源端文件的最后修改时间晚于目的端文件最后修改时间时执行覆盖。
   文件存储方式	设置文件迁移至 TOS 的存储类型，支持选择全部使用标准存储、保持原存储属性、全部使用低频存储、全部使用归档闪回存储、全部使用智能分层存储、全部使用归档存储、全部使用冷归档存储。关于 TOS 存储类型的详细介绍，请参见存储类型。以下为保持原存储属性和全部使用智能分层的参数说明： 保持原存储属性：迁移至 TOS 时，按照 S3 与 TOS 对应关系设置文件的存储类型，更多信息，请参见 迁移数据时 S3 与 TOS 的对应关系 。 全部使用智能分层：迁移至 TOS 时，文件将保存至智能分层高频访问层。 说明 如果迁移源属于延迟访问存储类型，请在迁移前将该类型的状态转换为即时访问，否则该迁移源会迁移失败。 如果目的端与源端文件的可用区属性不同，默认以目的端为准。 当源端类型为 URL 列表时，不支持保持原存储属性。
   迁移文件起始时间	设置需要迁移的文件的起始时间，参数说明如下： 迁移全部：迁移源桶中所有的文件。 指定起始时间：设置起始日期后，将迁移该日期之后创建或修改的文件。
   流量控制	默认关闭，关闭时默认速率为 1024MB/s。 打开速率开关，单击添加字段，可设置迁移任务的流控时段和最大速率，速率限制说明如下： 最大速率默认为 100MB/s。 最大速率设置范围为 1MB/s~1024MB/s。

6. 单击下一步：确定任务信息，在该页面检查迁移任务的各项参数。

7. 参数检查无误后，阅读并勾选存储产品和服务条款 ，单击提交。

   注意

   • 提交后，会弹出费用提醒对话框。存储迁移服务本身不收取任何费用，但是从公网迁移数据到火山引擎会产生公网流量费用，费用由源站的存储服务提供商收取。
   • 自 2023 年 7 月 18 日起，迁移数据时，将不再保留源端文件的最后修改时间。即迁移到 TOS 后，TOS 控制台展示的文件修改时间由原来的继承源端文件的最后修改时间，变更为与迁移时间保持一致。

8. 在费用提醒对话框，单击已知晓，下一步。

9. （可选）如果您选择了跨服务授权，您还需要在弹出的跨服务授权对话框，单击确定。

   说明

   任务创建完成后会自动启动，您可以在任务列表中查看该任务的创建时间和迁移状态。