视频点播服务提供数据迁移工具,支持 URL 公网迁移和火山引擎对象存储 TOS 迁移两种迁移方式,帮助您将火山引擎或其他云服务商对象存储中的媒资数据迁移至火山引擎视频点播服务。该工具适用于业务整体从其他云厂商迁移、定期将外部媒资归档至点播平台等场景。本文将引导您完成从迁移准备、任务创建到任务管理的全过程操作。
注意
火山引擎对象存储 TOS 迁移为白名单功能,使用前请提交工单联系火山引擎技术支持团队申请开通。
数据迁移工具本身是免费的。
从火山引擎 TOS 迁移时,归档存储、冷归档存储、深度冷归档存储这三种存储类型无法直接迁移,请调整成其它类型后再进行迁移。
若通过 URL 进行公网迁移,在开始迁移前,参考以下步骤下载 CSV 文件模板并填写用于迁移的 CSV 文件:
说明
若从火山引擎 TOS 迁移,可跳过这一步。
登录视频点播控制台,前往数据迁移页面。
单击左上角新建迁移任务按钮。
单击下载模板文件按钮。
参考以下说明填写 CSV 文件。
参数 | 是否必填 | 说明 |
|---|---|---|
SourceUrl | 是 | 源文件 URL。 |
Title | 否 | 文件标题。不超过 128 个字符。 |
ClassificationId | 否 | 音视频的分类 ID。音视频的分类是由您自行创建并管理的,方式如下:
|
FileName | 否 | 文件路径,即文件在点播存储中的存储位置。在视频点播中,文件路径类似于传统对象存储中的对象键(ObjectKey)。您可以根据业务需求自定义文件路径。 说明
|
自定义参数 | 否 | 自定义参数。参数名需与 UploadMediaByUrl 接口中的请求参数名称保持一致,每新增一个参数则添加一列。例如,若您希望设置标签,所设置的参数应为 |
若需要在每个 URL迁移完成时都收到通知,可配置 URL 批量拉取上传完成事件通知。配置方式请见事件通知概述。
前往视频点播控制台数据迁移页面。
单击左上角新建迁移任务按钮。
填写迁移任务名称。不能超过 64 个字符。
配置迁移源信息。迁移方式不同,需配置的源信息不同。
URL 公网迁移:具体参数说明如下表所示。
参数 | 是否必填 | 说明 |
|---|---|---|
服务供应商 | 是 | 设为 URL。 |
上传空间 | 是 | 在下拉框中选择空间名称。CSV 文件将被存储至所选空间的素材管理页面。 说明 若您需更换 CSV 文件上传的空间,请先删除该 CSV 文件,再选择目标空间。 |
URL 上传 | 是 | 单击选择 CSV 文件,上传您准备的 CSV 文件。 说明
|
迁移速度限制 | 否 | 限制迁移过程中的最大并发数。默认状态为关闭。开启后,可选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。 |
TOS 迁移:具体参数说明如下表所示。
参数 | 是否必填 | 说明 |
|---|---|---|
服务供应商 | 是 | 设为火山引擎对象存储 TOS。 |
存储桶所在地域 | 是 | 支持选项:华北 1、华南 1、华东 2、中国香港、亚太东南(柔佛)、亚太东南(雅加达) 注意 仅当 TOS 存储桶所在地域和点播空间所在地域保持一致时,可实现内网传输,免除流出流量费用。若两者地域不一致,仍将收取公网传输费用。 |
选择存储桶 | 是 | 在下拉框中选择存储桶。 |
文件迁移方式 | 是 | 支持以下选项:
|
时间范围 | 否 | 该按钮默认处于关闭状态,表示迁移存储桶中当前时间之前已有的全部文件。开启后,仅迁移指定时间范围内的文件。您需选择开始日期和结束日期。 |
迁移速度限制 | 否 | 限制迁移过程中的最大并发数。默认状态为关闭。开启后,可选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。 |
配置迁移目标信息。具体参数说明如下表所示。
参数 | 是否必填 | 说明 |
|---|---|---|
点播地域 | 是 | 固定为服务当前所在地域。 |
目标空间 | 是 | 在下拉框中选择空间名称。您的媒资数据将被存储至所选空间的视频管理页面。 |
桶内路径设置 | 是 | 支持以下选项:
说明 媒资文件在点播中的最终存储路径,其生成规则因迁移方式而异。具体路径生成规则和示例,请参见迁移后文件在点播服务中的路径规则说明章节。 |
保存路径 | 是 | 支持以下选项:
|
同名文件 | 是 | 同名是指 FileName 相同。支持以下选项:
|
自动转码 | 是 | 支持以下选项:
注意 若您所选的目标空间已设置默认工作流,即便您在此处选择直接上传不转码,文件上传时仍会触发默认工作流。 |
单击保存按钮。跳转到迁移任务列表页面,状态为等待中。系统会生成异步执行的任务,排队执行。若您已配置 URL 批量拉取完成事件通知,则每个 URL 迁移完成时您都将收到通知。
说明
若删除已完成的任务,所有迁移任务自身的数据将被清除,但不会对已迁移的媒资产生影响,可使用已删除任务的名称重新创建迁移任务。
迁移时间由迁移速度决定。迁移速度受到总任务数、以及单个迁移任务的文件总数量、文件总大小、网络状况、迁移源的服务稳定性等多种因素影响,由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。
假设迁移源的服务是稳定的,网络状态良好,下表中信息帮助您预估文件迁移速度。
影响因素 | 说明 |
|---|---|
迁出源的读取速度 | 数据源的读取速度因不同的服务商而不同,通常传输速度在 1Gbps - 10Gbps 之间。文件读取并发在 50 - 500 之间(大量小文件的传输受并发限制)。 |
点播数据迁移任务能提供的传输速度 | 提供最大 10Gbps 的迁移带宽。 |
迁入目标位置的写入速度 | 点播存储的写入速度最大是 10Gbps,写入并发最大是 500。 |
假设迁移任务已经启动,有如下数据:
总文件数 | 总字节量 | 迁移源最大下行带宽 | 点播下行速度 | 写入带宽 | 最大并发数 | 最小并发数 | 单批次提交时间 |
|---|---|---|---|---|---|---|---|
3000 | 10GB | 500Mbps | 1Gbps - 10Gbps | 10Gbps | 500 | 50 | 2s |
则大约耗时范围为 2 - 5 分钟。
在进行数据迁移时,媒资文件在火山引擎视频点播中的最终存储路径,其生成规则因迁移方式而异。
对于 URL 迁移,最终路径由 CSV 文件中的 FileName 和创建任务时的桶内路径设置共同决定。
URL 迁移路径生成示例
源 URL 示例 | CSV 中是否提供 FileName | 桶内路径设置 | 最终生成的文件路径(点播存储内) |
|---|---|---|---|
https://example.com/a/b/video.mp4 | 否(留空) | 将 URL 中路径用于桶内 | /a/b/video.mp4 |
https://example.com/a/b/video.mp4 | 否(留空) | 忽略 URL 中路径 | /video.mp4 |
https://example.com/a/b/video.mp4 | 是(custom/path/file123/video.mp4) | 将 URL 中路径用于桶内 | /custom/path/file123/video.mp4 |
https://example.com/a/b/video.mp4 | 是(custom/path/file123/video.mp4) | 忽略 URL 中路径 | /video.mp4 |
对于 TOS 迁移,最终路径仅源文件在 TOS 中的对象键 (ObjectKey) 和创建任务时的桶内路径设置共同决定。
path/to/your/media.mp4。TOS 迁移路径生成示例
源文件 ObjectKey 示例 | 桶内路径设置 | 最终生成的文件路径(点播存储内) |
|---|---|---|
path/to/your/media.mp4 | 将 URL 中路径用于桶内 | /path/to/your/media.mp4 |
path/to/your/media.mp4 | 忽略 URL 中路径 | /media.mp4 |