You need to enable JavaScript to run this app.
导航

数据迁移

最近更新时间2024.02.01 14:05:03

首次发布时间2021.08.13 11:30:15

veImageX 支持创建云端数据迁移任务以及拥有公网访问 URL 本地数据迁移任务,实现将数据从国内外其他云服务商的对象存储中在线,自动化拉取到 veImageX 的服务中。源对象存储可能会产生流量费用,具体费用需要参考源对象存储云厂商的定价。

已支持数据源

阿里云OSS、腾讯云COS、七牛云KODO、百度云BOS、华为云OBS、 优刻得(Ucloud File)、AWS国际站、URL 列表、其他支持 S3 协议的存储服务

说明

对于您的本地数据,您可以选择以下几个迁移方式进行迁移:

  • 对于可公网访问的大批量 URL 列表文件,您可以使用 URL列表进行批量离线迁移至 veImageX。
  • 对于可公网访问的单资源 URL 文件,您可以通过调用 FetchImageUrl实时迁移至 veImageX。
  • 如果您的数据在本地 IDC 或者在本地磁盘中,同时通过本地服务器挂载云存储的资源迁移 veImageX 存储,建议使用本地迁移与上传工具进行数据迁移。

前提条件

已开通 veImgaeX 服务,如未开通请参考服务管理

迁移准备

具体各厂商的迁移准备操作请见下表。

云厂商文档地址
阿里云OSS迁移准备
腾讯云COS迁移准备
七牛云Kodo迁移准备
百度云BOS迁移准备
华为云OBS迁移准备
优刻得(Ucloud File)迁移准备
AWS国际站迁移准备

说明

对于迁移源为其他 S3 协议存储类型时,请您按源站使用说明准备好新建数据迁移任务所需要的 AK/SK 等迁移源信息。

操作步骤

  1. 登录 veImgaeX 控制台,进入左侧导航栏的工具箱页面。
  2. 数据迁移卡片下单击去查看,进入数据迁移页面。
  3. 选择迁移目标服务所在地区,目前支持国内、新加坡。
  4. 单击新建迁移任务按钮,并在新建任务页面,根据以下内容完成迁移参数配置。

Step 1:设置迁移任务名称

设置迁移任务名称,字符长度可为 1 至 60 个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,可用于在任务列表中查看迁移状态和迁移进度。

Step 2:设置迁移源信息

支持以下迁移数据来源,您可根据实际业务进行迁移源信息配置。

请您根据提示信息,配置源站为阿里云 OSS 的迁移源信息。具体配置项说明请见下表:

配置说明
文件来源必选。选择阿里云OSS。
AccessKey必填。访问密钥,AccessKey 的获取方法请参考迁移准备
SecretKey必填。私钥,SecretKey 的获取方法请参考迁移准备
Bucket 所在区域 ID请参照各云厂商的获取文档。
源端 Bucket必填。数据源 Bucket,源端 Bucket 的获取方法请参考迁移准备
Header 迁移方式支持配置:丢弃全部源 Header、保留全部源 Header
注意:调用 veImageX 图片服务时,源 Header 暂时不会生效。
文件迁移方式支持配置:全量迁移、只迁移匹配前缀文件、只迁移匹配正则表达式的文件
时间范围开启后表示只迁移指定时间范围内新增或变更的文件。

Step 3:设置迁移目标信息

请参考下表进行迁移目标信息配置,配置完成后请勾选提交前须知并单击确认提交,完成迁移任务的创建。

配置说明
选择服务当前账号下的服务

保存路径

支持以下配置:

  • 保存到根目录:即为您保留源端文件目录结构,整体保存到 veImageX 提供的存储路径的根目录下。
  • 保存到指定目录:如果是多重目录请使用斜线分割,例如aaa/bbb/ccc

同名文件覆盖规则

说明

同名文件指在对象存储中访问 Key 相同的文件。

支持以下配置:

  • 直接覆盖
  • 加后缀区分(同名文件自动加文件名后缀,后缀为任务 ID)
  • 跳过(不迁移源 Bucket 中与所选服务中的文件同名的文件)

源 Bucket 名保留规则

支持以下配置:

  • 保留:即迁移后资源访问 URI 中,会保留迁移源的 Bucket 名称。
  • 不保留:即迁移后资源访问 URI 中,不会保留迁移源的 Bucket 名称。

说明

使用 URL 列表的迁移任务无需进行该配置。

其他操作

管理迁移任务

  1. 登录 veImgaeX 控制台,在常用工具下点击数据迁移
  2. 在数据迁移页面,您可查看迁移任务的任务名称、文件来源和迁移进度。
  • 单击详情,您可以查看迁移源信息和迁移目标信息。
    • 迁移源信息:文件来源、源端 Bucket、Header 迁移方式、文件迁移方式和时间范围。
    • 迁移目标信息:目标服务、保存路径、同名文件覆盖规则。
  • 单击复制任务,您可以按照当前任务配置创建新的迁移任务。
  • 单击结束,您可以终止当前迁移进度。
  • 单击重启失败任务,您可以对失败文件重新开始迁移操作。
  • 单击导出失败任务,您可以在 txt 文件内查看迁移失败文件的信息以及失败原因。

预估文件迁移时间

您可以参考预估文件迁移时间从而获取您创建的迁移任务在顺利情况下完成迁移的大概时间。

OpenAPI