You need to enable JavaScript to run this app.
导航

数据迁移

最近更新时间2023.04.25 10:17:05

首次发布时间2022.12.02 14:15:46

视频点播提供线上存储数据迁移工具,可以帮助您将其他云服务商的对象存储或视频点播服务中的媒资数据在线迁移至火山引擎视频点播服务中。本文为您介绍使用数据迁移工具的注意事项、迁移准备、操作步骤、后续操作、预估数据迁移时间等内容。

前提条件

您已开通视频点播服务,详情请参见开通服务

迁移准备

准备需要迁移的 CSV 文件。您可以登录视频点播控制台,在数据迁移 > 创建迁移任务对话框中,下载 CSV 文件模板。

注意事项

  • CSV 文件最多只能上传一个。

  • 上传的 CSV 文件需要符合以下表格样式。

    参数说明
    SourceUrl必填,媒资 URL
    Title选填,标题。如果不填写,上传服务端将该字段置为空。
    ClassificationId选填,分类 ID。如果不填写,上传服务端将该字段置为空。
    FileName选填,文件路径。如果不填写,上传服务端会自动生成文件路径。
    自定义参数选填,可自定义的字段,字段名需要与上传 OpenAPI 的字段名一致,每新增一个字段添加一列。例如,您想设置标签的内容,设置的字段应该为Tags

操作步骤

创建迁移任务

  1. 登录视频点播控制台

  2. 选择左侧导航栏工具服务 > 数据迁移,进入数据迁移页面。

  3. 单击左上角的新建迁移任务按钮,进入创建迁移任务页面。

  4. 根据页面提示完成参数配置,详细的参数说明如下表所示。

    类型参数说明
    基础信息迁移任务名称必填项,请输入迁移任务名称。不能超过 64 个字符。
    迁移源信息服务供应商必选项。目前仅支持 URL 选项。

    上传空间

    必选项。支持选择已创建的空间名称。CSV 文件将被存储到所选空间的素材中,该空间仅用作存储。

    说明

    如果您想要更换 CSV 文件上传的空间,请先删除文件再选择空间。

    URL 上传

    必填项。单击选择 CSV 文件按钮,进行文件上传。CSV 文件最多只能上传 1 个。

    说明

    目前仅支持 UTF-8、GBK、GB2312 编码的 CSV 文件,表头必须符合要求,支持下载模板文件。

    迁移速度限制可选项。限制迁移过程中的最大并发数。默认关闭。开启后,支持选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。
    迁移目标点播地域必选项。目前仅支持华北区域。
    目标空间必选项。您的媒资数据将被储存至此空间。

    桶内路径设置

    必选项。支持 2 种路径设置。

    • 将 URL 中路径用于桶内。
    • 忽略 URL 中路径。

      说明

      忽略 URL 中路径时,会丢弃源 Object 的前缀,只保留文件名和后缀。

    保存路径

    必选项。支持 2 种保存路径。

    • 保存到根目录。
    • 保存到指定目录。 保存路径不能包含\t\n\v\f\r空格%+?,&#等字符。

    同名文件

    必选项。支持 2 种方式。

    • 覆盖:源桶中的文件替换目标桶中的同名文件。其中,同名是指 FileName 相同。
    • 跳过:保留目标桶中已有的同名文件。其中,这里的同名,是指不上传新文件。

    自动转码

    必选项。支持 2 种选择。

    • 直接上传不转码:如果您所选的目标空间中,已经设置了默认工作流,在文件上传时,将触发默认工作流。
    • 上传且自动转码:选择已创建的工作流模板,如果没有所需的工作流模板,请在所选的目标空间下,创建工作流模板,详情请见工作流模板
    选择工作流模板选择上传且自动转码的选项后,支持选择已创建的工作流模板。
  5. 完成参数配置后,单击保存按钮,完成迁移任务的创建。

  6. 页面跳转到数据迁移列表页面,迁移状态为等待中,单击更多按钮,仅支持删除操作。

查看数据迁移任务列表

数据迁移完成后,支持查看已创建完成数据迁移任务的列表,包含:迁移任务名称、状态、文件源、开始时间和操作等内容。

查看数据迁移详情

  1. 数据迁移完成后,在操作列中,单击详情按钮,进入迁移任务详情页面

  2. 迁移任务详情页面,支持查看迁移进度、迁移源信息和迁移目标。

    • 迁移进度:支持导出成功文件数量、失败文件数量、导出跳过文件数量。
    • 迁移源信息:支持复制 CSV 文件 ID;支持在 CSV 文件上传的空间,在视频管理 > 素材管理页面,查询上传的文件。

更多操作

  1. 数据迁移状态为进行中,在操作列中单击暂停按钮,可暂停数据迁移任务。

    说明

    已完成迁移任务的无法暂停。

  2. 迁移状态由等待中变为进行中,在操作列中支持单击暂停按钮,迁移状态变为暂停中,在操作列中支持单击重启按钮,继续进行迁移任务。

  3. 单击更多按钮,展示删除导出迁移成功列表导出迁移失败列表导出迁移跳过列表按钮。

    说明

    删除已完成的任务,所有迁移任务本身的数据都被清除,但不影响已经被迁移的媒资,可使用被删除的任务名称重新创建迁移任务。

预估数据迁移时间

迁移时间由迁移速度决定。迁移速度受到总任务数、以及单个迁任务的文件总数量、文件总大小、网络状况、迁移源的服务稳定性等多种因素影响,由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。

迁移速度影响因素

假设迁移源的服务是稳定的,网络状态良好,下表中信息帮助您预估文件迁移速度。

影响因素说明
迁出源的读取速度数据源的读取速度因不同的服务商而不同,通常:传输速度在 1Gbps - 10Gbps 之间。文件读取并发在 50 - 500 之间(大量小文件的传输受并发限制)。
点播数据迁移任务能提供的传输速度提供最大 10Gbps 的迁移带宽。

迁入目标位置的写入速度

点播提供的存储。

  • 写入速度最大是 10Gbps。
  • 写入并发最大是 500。

数据迁移时间计算举例

假设迁移任务已经启动,有如下数据:

总文件数总字节量迁移源最大下行带宽点播下行速度写入带宽最大并发数最小并发数单批次提交时间大约耗时范围
300010GB500Mbps1Gbps - 10Gbps10Gbps500502s2Mins - 5Mins

迁移费用说明

通过火山引擎视频点播数据迁移工具进行迁移操作,在数据迁移过程中产生的迁移费用如下说明。

  • 公式:迁移费用 = 调用源端 API 次数 x 调用源端 API 单价 + 对象总容量 x 源端流出流量单价

  • 示例:假设您从 A 云端厂商迁移 500GB 的数据文件。A 云端厂商调用 API 的次数为 30000 次,调用 API 单价为 0.01 元/万次;流出流量的单价为 0.5 元/GB。所以,此次迁移过程中的费用为 30000 次 x 0.01 元/万次 + 500GB x 0.5 元/GB = 250.03 元

注意

数据迁移中的费用是从其他源端产生的,视频点播提供的数据迁移工具服务是免费的。