最近更新时间:2023.04.25 10:17:05
首次发布时间:2022.12.02 14:15:46
视频点播提供线上存储数据迁移工具,可以帮助您将其他云服务商的对象存储或视频点播服务中的媒资数据在线迁移至火山引擎视频点播服务中。本文为您介绍使用数据迁移工具的注意事项、迁移准备、操作步骤、后续操作、预估数据迁移时间等内容。
您已开通视频点播服务,详情请参见开通服务。
准备需要迁移的 CSV 文件。您可以登录视频点播控制台,在数据迁移 > 创建迁移任务对话框中,下载 CSV 文件模板。
CSV 文件最多只能上传一个。
上传的 CSV 文件需要符合以下表格样式。
参数 | 说明 |
---|---|
SourceUrl | 必填,媒资 URL |
Title | 选填,标题。如果不填写,上传服务端将该字段置为空。 |
ClassificationId | 选填,分类 ID。如果不填写,上传服务端将该字段置为空。 |
FileName | 选填,文件路径。如果不填写,上传服务端会自动生成文件路径。 |
自定义参数 | 选填,可自定义的字段,字段名需要与上传 OpenAPI 的字段名一致,每新增一个字段添加一列。例如,您想设置标签的内容,设置的字段应该为Tags 。 |
登录视频点播控制台。
选择左侧导航栏工具服务 > 数据迁移,进入数据迁移页面。
单击左上角的新建迁移任务按钮,进入创建迁移任务页面。
根据页面提示完成参数配置,详细的参数说明如下表所示。
类型 | 参数 | 说明 |
---|---|---|
基础信息 | 迁移任务名称 | 必填项,请输入迁移任务名称。不能超过 64 个字符。 |
迁移源信息 | 服务供应商 | 必选项。目前仅支持 URL 选项。 |
上传空间 | 必选项。支持选择已创建的空间名称。CSV 文件将被存储到所选空间的素材中,该空间仅用作存储。 说明 如果您想要更换 CSV 文件上传的空间,请先删除文件再选择空间。 | |
URL 上传 | 必填项。单击选择 CSV 文件按钮,进行文件上传。CSV 文件最多只能上传 1 个。 说明 目前仅支持 UTF-8、GBK、GB2312 编码的 CSV 文件,表头必须符合要求,支持下载模板文件。 | |
迁移速度限制 | 可选项。限制迁移过程中的最大并发数。默认关闭。开启后,支持选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。 | |
迁移目标 | 点播地域 | 必选项。目前仅支持华北区域。 |
目标空间 | 必选项。您的媒资数据将被储存至此空间。 | |
桶内路径设置 | 必选项。支持 2 种路径设置。
| |
保存路径 | 必选项。支持 2 种保存路径。
| |
同名文件 | 必选项。支持 2 种方式。
| |
自动转码 | 必选项。支持 2 种选择。
| |
选择工作流模板 | 选择上传且自动转码的选项后,支持选择已创建的工作流模板。 |
完成参数配置后,单击保存按钮,完成迁移任务的创建。
页面跳转到数据迁移列表页面,迁移状态为等待中,单击更多按钮,仅支持删除操作。
数据迁移完成后,支持查看已创建完成数据迁移任务的列表,包含:迁移任务名称、状态、文件源、开始时间和操作等内容。
数据迁移完成后,在操作列中,单击详情按钮,进入迁移任务详情页面。
迁移任务详情页面,支持查看迁移进度、迁移源信息和迁移目标。
数据迁移状态为进行中,在操作列中单击暂停按钮,可暂停数据迁移任务。
说明
已完成迁移任务的无法暂停。
迁移状态由等待中变为进行中,在操作列中支持单击暂停按钮,迁移状态变为暂停中,在操作列中支持单击重启按钮,继续进行迁移任务。
单击更多按钮,展示删除、导出迁移成功列表、导出迁移失败列表、导出迁移跳过列表按钮。
说明
删除已完成的任务,所有迁移任务本身的数据都被清除,但不影响已经被迁移的媒资,可使用被删除的任务名称重新创建迁移任务。
迁移时间由迁移速度决定。迁移速度受到总任务数、以及单个迁任务的文件总数量、文件总大小、网络状况、迁移源的服务稳定性等多种因素影响,由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。
假设迁移源的服务是稳定的,网络状态良好,下表中信息帮助您预估文件迁移速度。
影响因素 | 说明 |
---|---|
迁出源的读取速度 | 数据源的读取速度因不同的服务商而不同,通常:传输速度在 1Gbps - 10Gbps 之间。文件读取并发在 50 - 500 之间(大量小文件的传输受并发限制)。 |
点播数据迁移任务能提供的传输速度 | 提供最大 10Gbps 的迁移带宽。 |
迁入目标位置的写入速度 | 点播提供的存储。
|
假设迁移任务已经启动,有如下数据:
总文件数 | 总字节量 | 迁移源最大下行带宽 | 点播下行速度 | 写入带宽 | 最大并发数 | 最小并发数 | 单批次提交时间 | 大约耗时范围 |
---|---|---|---|---|---|---|---|---|
3000 | 10GB | 500Mbps | 1Gbps - 10Gbps | 10Gbps | 500 | 50 | 2s | 2Mins - 5Mins |
通过火山引擎视频点播数据迁移工具进行迁移操作,在数据迁移过程中产生的迁移费用如下说明。
公式:迁移费用 = 调用源端 API 次数 x 调用源端 API 单价 + 对象总容量 x 源端流出流量单价
示例:假设您从 A 云端厂商迁移 500GB 的数据文件。A 云端厂商调用 API 的次数为 30000 次,调用 API 单价为 0.01 元/万次;流出流量的单价为 0.5 元/GB。所以,此次迁移过程中的费用为 30000 次 x 0.01 元/万次 + 500GB x 0.5 元/GB = 250.03 元
注意
数据迁移中的费用是从其他源端产生的,视频点播提供的数据迁移工具服务是免费的。