数据迁移最佳实践--veImageX-火山引擎

文档中心

立即注册

veImageX

请输入

数据迁移最佳实践

veImageX 支持本地数据以及第三方云数据的多种数据源迁移，其中本地数据迁移、第三方云数据迁移也分别有多种迁移方式。

本地数据迁移方式：支持迁移工具、控制台迁移以及调用接口迁移。
第三方云数据迁移方式：支持控制台迁移以及调用接口迁移。

使用场景

如果您的数据在本地 IDC 或者在本地磁盘中，同时通过本地服务器挂载云存储的资源迁移 veImageX 存储也可以使用本地迁移与上传工具进行数据迁移。
如果您的数据位于第三方云厂商或有可公网访问的 URL 本地数据，您可以在 veImageX 控制台的数据迁移进行数据迁移。
如果您仅需要上传可公网访问的单条 URL 数据，您可以通过调用 FetchImageUrl 接口上传数据至指定服务。
- 同步处理：
  - 若上传资源 URL 支持分片下载，最大超时时间为 20 s，最大资源不超过 5 G；
  - 若上传资源 URL 不支持分片下载，最大超时时间为 20 s，最大资源不超过 1 G。
- 异步处理：
  - 若上传资源 URL 不支持分片下载，最大超时时间为 90 s，最大资源不超过 5 G。

迁移方式

您可根据您的业务数据量规模、是否已获取本地数据公网访问 URL 等因素来考虑如何选择适合您的迁移方式。

迁移方式	方式说明
本地迁移与上传工具	Media-Migration 为 veImageX 文件批量迁移与上传工具，可以将一个文件夹中的文件递归式地上传到指定的 veImageX 服务中。您只需要通过简单的配置操作，便可将数据快速迁移至 veImageX 中。
控制台迁移	veImageX 已提供数据迁移功能，可支持您的本地数据以及第三方云数据迁移至 veImageX。本地数据迁移：在获取本地数据的公网访问 URL 后，选择 URL 列表完成您的本地数据迁移。该方式可以解决使用迁移工具完成本地数据迁移产生的机器成本，减少机器使用空间。第三方云数据迁移：根据您具体的云服务厂商完成迁移任务，获取迁移前准备数据。支持离线批量的数据迁移，且不会对您的线上业务产生影响。桶遍历方式：根据提供的源存储相关信息，连接源存储桶和目标存储。再遍历源存储桶内每个资源，并将遍历到的数据从源存储桶复制到目标存储。桶清单方式：根据提供的源存储相关信息，连接源存储桶和目标存储。再根据提供的桶清单信息，解析并获取桶清单内需要迁移的资源，再将该资源从源存储桶复制到目标存储。详见使用桶清单完成数据迁移。说明目前已支持的云服务厂商有：阿里云 OSS、腾讯云 COS、七牛云 KODO、百度云 BOS、华为云 OBS、优刻得 Ucloud File、AWS 国际站、其他 S3 协议存储。
FetchImageUrl	您可以通过调用接口，实现第三方 URL 数据的实时上传，同时您可根据实际情况选择使用同步或异步处理。

迁移方式

方式说明

本地迁移与上传工具

Media-Migration 为 veImageX 文件批量迁移与上传工具，可以将一个文件夹中的文件递归式地上传到指定的 veImageX 服务中。您只需要通过简单的配置操作，便可将数据快速迁移至 veImageX 中。

控制台迁移

veImageX 已提供数据迁移功能，可支持您的本地数据以及第三方云数据迁移至 veImageX。

本地数据迁移：在获取本地数据的公网访问 URL 后，选择 URL 列表完成您的本地数据迁移。该方式可以解决使用迁移工具完成本地数据迁移产生的机器成本，减少机器使用空间。
第三方云数据迁移：根据您具体的云服务厂商完成迁移任务，获取迁移前准备数据。支持离线批量的数据迁移，且不会对您的线上业务产生影响。
- 桶遍历方式：根据提供的源存储相关信息，连接源存储桶和目标存储。再遍历源存储桶内每个资源，并将遍历到的数据从源存储桶复制到目标存储。
- 桶清单方式：根据提供的源存储相关信息，连接源存储桶和目标存储。再根据提供的桶清单信息，解析并获取桶清单内需要迁移的资源，再将该资源从源存储桶复制到目标存储。详见使用桶清单完成数据迁移。

说明

目前已支持的云服务厂商有：阿里云 OSS、腾讯云 COS、七牛云 KODO、百度云 BOS、华为云 OBS、优刻得 Ucloud File、AWS 国际站、其他 S3 协议存储。

FetchImageUrl

您可以通过调用接口，实现第三方 URL 数据的实时上传，同时您可根据实际情况选择使用同步或异步处理。

操作步骤

方式一：使用迁移工具

迁移操作步骤如下：

下载并安装迁移工具。
修改配置文件。
运行迁移工具。

说明

使用迁移工具完成迁移的具体方法请参见本地迁移与上传工具。

配置参数

迁移工具支持的具体参数详细场景化说明如下所示。

说明

迁移工具支持分布式并行传输，您可以考虑使用多台机器安装迁移工具并分别执行不同源数据的迁移任务，用于加快本地数据的迁移速度。

-data-file string
      进度存储文件，file 或者 *.db (默认值为 "processfile")
 -up string
      配置上传速率，支持单位：kbps、mbps，默认不限制 (默认值为 "0 kbps")
-down string
      配置下载速率，支持单位：kbps、mbps，默认不限制 (默认值为 "0 kbps")
-driver string
      进度存储驱动，支持取值：file（默认）、sqlite3 。上传过程中会记录日志文件，通过日志文件可以看到上传具体的状态以及上传后的访问地址。
-f string
      迁移根目录，默认为 /tmp
-h    帮助
-p string
      store key 前缀，默认为空
-parallel int
      同时上传文件数量，默认值为 40。您可以根据运行服务器的带宽和性能，设置并发上传文件数量，提高迁移速度。
-region string
      veImageX存储区域: cn-north-1：（默认）上传的国内服务,ap-southeast-1：上传的亚太东南（柔佛）服务

方式二：控制台数据迁移

迁移操作步骤如下：

登录 veImageX 控制台。单击数据迁移，进入数据迁移页面。
在数据迁移页面，单击新建迁移任务。
根据您的实际迁移源信息，根据指引创建迁移任务。

说明

具体迁移方式请参考数据迁移。
您在使用 URL 列表迁移您的数据时，需要获得该数据的公网可访问的 URL。
您使用第三方云厂商迁移数据前，请参考云数据迁移准备记录第三方云厂商的 AK、SK、所在区域以及 Bucket 信息。

方式三：调用 FetchImageUrl 接口

请调用 FetchImageUrl 接口完成数据上传。

说明

您需要提前获得待上传数据的公网可访问的 URL 后，才支持使用本接口完成数据的抓取、上传操作。

最近更新时间：2025.12.17 14:24:39

这个页面对您有帮助吗？

有用

无用