数据迁移最佳实践

veImageX 支持本地数据以及第三方云数据的多种数据源迁移，其中本地数据迁移、第三方云数据迁移也分别有多种迁移方式。

• 本地数据迁移方式：支持迁移工具、控制台迁移以及调用接口迁移。

• 第三方云数据迁移方式：支持控制台迁移以及调用接口迁移。

使用场景

• 如果您的数据在本地 IDC 或者在本地磁盘中，同时通过本地服务器挂载云存储的资源迁移 veImageX 存储也可以使用本地迁移与上传工具进行数据迁移。

• 如果您的数据位于第三方云厂商或有可公网访问的 URL 本地数据，您可以登录 veImageX 使用数据迁移功能迁移您的数据。

• 如果您仅需要上传可公网访问的单条 URL 数据，您可以通过调用 FetchImageUrl接口上传数据至指定服务。

  • 同步处理：

    • 若上传资源 URL 支持分片下载，最大超时时间为 20 s，最大资源不超过 5 G；

    • 若上传资源 URL 不支持分片下载，最大超时时间为 20 s，最大资源不超过 1 G。

  • 异步处理：

    • 若上传资源 URL 不支持分片下载，最大超时时间为 90 s，最大资源不超过 5 G。

迁移方式

您可根据您的业务数据量规模、是否已获取本地数据公网访问 URL 等因素来考虑如何选择适合您的迁移方式。

操作步骤

方式一 使用迁移工具

迁移操作步骤如下：

1. 下载并安装迁移工具。
2. 修改配置文件。
3. 运行迁移工具。

配置参数

迁移工具支持的具体参数详细场景化说明如下所示。

-data-file string
      进度存储文件，file 或者 *.db (默认值为 "processfile")
 -up string
      配置上传速率，支持单位：kbps、mbps，默认不限制 (默认值为 "0 kbps")
-down string
      配置下载速率，支持单位：kbps、mbps，默认不限制 (默认值为 "0 kbps")
-driver string
      进度存储驱动，支持取值：file（默认）、sqlite3 。上传过程中会记录日志文件，通过日志文件可以看到上传具体的状态以及上传后的访问地址。
-f string
      迁移根目录，默认为 /tmp
-h    帮助
-p string
      store key 前缀，默认为空
-parallel int
      同时上传文件数量，默认值为 40。您可以根据运行服务器的带宽和性能，设置并发上传文件数量，提高迁移速度。
-region string
      veImageX存储区域: cn-north-1：（默认）上传的国内服务,ap-singapore-1：上传的新加坡服务

方式二 控制台数据迁移

迁移操作步骤如下：

1. 登录veImageX 控制台。单击数据迁移，进入数据迁移页面。
2. 在数据迁移页面，单击新建迁移任务。
3. 根据您的实际迁移源信息，根据指引创建迁移任务。

方式三 调用 FetchImageUrl 接口

请调用 FetchImageUrl接口完成数据上传。