You need to enable JavaScript to run this app.
导航
使用数据迁移工具
最近更新时间:2025.07.23 10:43:27首次发布时间:2022.12.02 14:15:46
复制全文
我的收藏
有用
有用
无用
无用

视频点播服务提供数据迁移工具,支持 URL 公网迁移火山引擎对象存储 TOS 迁移两种迁移方式,帮助您将火山引擎或其他云服务商对象存储中的媒资数据迁移至火山引擎视频点播服务。该工具适用于业务整体从其他云厂商迁移、定期将外部媒资归档至点播平台等场景。本文将引导您完成从迁移准备、任务创建到任务管理的全过程操作。

注意

火山引擎对象存储 TOS 迁移为白名单功能,使用前请提交工单联系火山引擎技术支持团队申请开通。

费用说明

数据迁移工具本身是免费的。

  • 若通过 URL 从公网迁移,数据迁移过程中从源端会产生如下费用:
    • 公式:迁移费用 = 调用源端 API 次数 x 调用源端 API 单价 + 对象总容量 x 源端流出流量单价
    • 示例:假设您从 A 云端厂商迁移 500 GB 的数据文件。A 云端厂商调用 API 的次数为 30000 次,调用 API 单价为 0.01 元/万次;流出流量的单价为 0.5 元/GB。所以,此次迁移过程中的费用为 30000 次 x 0.01 元/万次 + 500GB x 0.5 元/GB = 250.03 元
  • 若从火山引擎 TOS 迁移,当 TOS 存储桶所在地域和点播空间所在地域保持一致时,可实现内网传输,免除流出流量费用。若两者地域不一致,仍将收取 TOS 流出流量费用

已知限制

从火山引擎 TOS 迁移时,归档存储冷归档存储深度冷归档存储这三种存储类型无法直接迁移,请调整成其它类型后再进行迁移。

迁移前准备

准备 CSV 文件

通过 URL 进行公网迁移,在开始迁移前,参考以下步骤下载 CSV 文件模板并填写用于迁移的 CSV 文件:

说明

若从火山引擎 TOS 迁移,可跳过这一步。

  1. 登录视频点播控制台,前往数据迁移页面。

  2. 单击左上角新建迁移任务按钮。

  3. 单击下载模板文件按钮。
    Image

  4. 参考以下说明填写 CSV 文件。

    参数

    是否必填

    说明

    SourceUrl

    源文件 URL。

    Title

    文件标题。不超过 128 个字符。

    ClassificationId

    音视频的分类 ID。音视频的分类是由您自行创建并管理的,方式如下:

    FileName

    文件路径,即文件在点播存储中的存储位置。在视频点播中,文件路径类似于传统对象存储中的对象键(ObjectKey)。您可以根据业务需求自定义文件路径。

    说明

    • 文件路径必须包含文件后缀,例如 .mp4,但不要求必须包含文件前缀。
    • 最大长度不超过 1024 个字符。
    • 详细的字符规则,请见文件命名通用字符规则
    • 如果设置了 FileName,请确保不同文件具有不同的 FileName,以避免文件覆盖的风险。

    自定义参数

    自定义参数。参数名需与 UploadMediaByUrl 接口中的请求参数名称保持一致,每新增一个参数则添加一列。例如,若您希望设置标签,所设置的参数应为 Tags

配置 URL 批量拉取完成事件通知

若需要在每个 URL迁移完成时都收到通知,可配置 URL 批量拉取上传完成事件通知。配置方式请见事件通知概述

创建迁移任务

  1. 前往视频点播控制台数据迁移页面

  2. 单击左上角新建迁移任务按钮。

  3. 填写迁移任务名称。不能超过 64 个字符。

  4. 配置迁移源信息。迁移方式不同,需配置的源信息不同。

    • URL 公网迁移:具体参数说明如下表所示。
      Image

      参数

      是否必填

      说明

      服务供应商

      设为 URL

      上传空间

      在下拉框中选择空间名称。CSV 文件将被存储至所选空间的素材管理页面。

      说明

      若您需更换 CSV 文件上传的空间,请先删除该 CSV 文件,再选择目标空间。

      URL 上传

      单击选择 CSV 文件,上传您准备的 CSV 文件。

      说明

      • 仅支持采用 UTF-8、GBK、GB2312 编码的 CSV 文件。
      • 最多仅可上传 1 个 CSV 文件。

      迁移速度限制

      限制迁移过程中的最大并发数。默认状态为关闭。开启后,可选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。

    • TOS 迁移:具体参数说明如下表所示。
      Image

      参数

      是否必填

      说明

      服务供应商

      设为火山引擎对象存储 TOS

      存储桶所在地域

      支持选项:华北 1、华南 1、华东 2、中国香港、亚太东南(柔佛)、亚太东南(雅加达)

      注意

      仅当 TOS 存储桶所在地域和点播空间所在地域保持一致时,可实现内网传输,免除流出流量费用。若两者地域不一致,仍将收取公网传输费用。

      选择存储桶

      在下拉框中选择存储桶。

      文件迁移方式

      支持以下选项:

      • 全量迁移:迁移源桶中全部文件。
      • 只迁移匹配前缀文件:需在文本框内填写迁移文件的路径前缀(每行指定一个前缀,最多 10 个,每个前缀少于 80 个字符)。文件路径前缀无需包含桶名称,但应为完整路径,例如:home/aaaa。
      • 只迁移匹配正则表达式的文件:需在文本框内填写过滤用的正则表达式(每行一条正则表达式,最多 10 个)。多条正则表达式之间为“或”关系,即源文件匹配任意一条正则表达式即视为符合迁移条件。

      时间范围

      该按钮默认处于关闭状态,表示迁移存储桶中当前时间之前已有的全部文件。开启后,仅迁移指定时间范围内的文件。您需选择开始日期和结束日期。

      迁移速度限制

      限制迁移过程中的最大并发数。默认状态为关闭。开启后,可选择不同的迁移速度限制,取值范围为 [50,2000],单位为 QPS。

  5. 配置迁移目标信息。具体参数说明如下表所示。

    参数

    是否必填

    说明

    点播地域

    固定为服务当前所在地域。

    目标空间

    在下拉框中选择空间名称。您的媒资数据将被存储至所选空间的视频管理页面。

    桶内路径设置

    支持以下选项:

    • 将 URL 中路径用于桶内
    • 忽略 URL 中路径:系统会丢弃源 Object 的前缀,只保留文件名和后缀。

    说明

    媒资文件在点播中的最终存储路径,其生成规则因迁移方式而异。具体路径生成规则和示例,请参见迁移后文件在点播服务中的路径规则说明章节。

    保存路径

    支持以下选项:

    • 保存到根目录
    • 保存到指定目录:保存路径不能包含 \t、\n、\v、\f、\r、空格、%、+、?、,、&、,、# 等字符。

    同名文件

    同名是指 FileName 相同。支持以下选项:

    • 覆盖:源桶中的文件替换目标桶中的同名文件。
    • 跳过:保留目标桶中已有的同名文件,不上传新文件。

    自动转码

    支持以下选项:

    • 直接上传不转码
    • 上传且自动转码:在下拉框中选择工作流。若没有可选的工作流,请在所选的目标空间下创建工作流,详情请见工作流

    注意

    若您所选的目标空间已设置默认工作流,即便您在此处选择直接上传不转码,文件上传时仍会触发默认工作流。

  6. 单击保存按钮。跳转到迁移任务列表页面,状态为等待中。系统会生成异步执行的任务,排队执行。若您已配置 URL 批量拉取完成事件通知,则每个 URL 迁移完成时您都将收到通知。

管理迁移任务

  • 在操作列中单击暂停按钮暂停迁移任务。
  • 可单击更多按钮,进行删除导出迁移成功列表导出迁移失败列表导出迁移跳过列表操作。

说明

若删除已完成的任务,所有迁移任务自身的数据将被清除,但不会对已迁移的媒资产生影响,可使用已删除任务的名称重新创建迁移任务。

参考信息

预估数据迁移时间

迁移时间由迁移速度决定。迁移速度受到总任务数、以及单个迁移任务的文件总数量、文件总大小、网络状况、迁移源的服务稳定性等多种因素影响,由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。

迁移速度影响因素

假设迁移源的服务是稳定的,网络状态良好,下表中信息帮助您预估文件迁移速度。

影响因素

说明

迁出源的读取速度

数据源的读取速度因不同的服务商而不同,通常传输速度在 1Gbps - 10Gbps 之间。文件读取并发在 50 - 500 之间(大量小文件的传输受并发限制)。

点播数据迁移任务能提供的传输速度

提供最大 10Gbps 的迁移带宽。

迁入目标位置的写入速度

点播存储的写入速度最大是 10Gbps,写入并发最大是 500。

数据迁移时间计算举例

假设迁移任务已经启动,有如下数据:

总文件数

总字节量

迁移源最大下行带宽

点播下行速度

写入带宽

最大并发数

最小并发数

单批次提交时间

3000

10GB

500Mbps

1Gbps - 10Gbps

10Gbps

500

50

2s

则大约耗时范围为 2 - 5 分钟。

迁移后文件在点播服务中的路径规则说明

在进行数据迁移时,媒资文件在火山引擎视频点播中的最终存储路径,其生成规则因迁移方式而异。

方式一:URL 迁移

对于 URL 迁移,最终路径由 CSV 文件中的 FileName 和创建任务时的桶内路径设置共同决定。

  • FileName(CSV 文件中填写):这是您为每个文件自定义的目标存储路径(包含目录和文件名)。如果填写,系统将以它为基础进行处理;如果留空,系统将自动从源 URL 中提取路径作为基础路径。
  • 桶内路径设置(创建任务时选择):这是一个路径处理规则,它作用于上述“基础路径”。
    • 将 URL 中路径用于桶内:直接使用基础路径的完整形态。
    • 忽略 URL 中路径:从基础路径中去除所有目录层级,只保留最后的文件名部分。

URL 迁移路径生成示例

源 URL 示例

CSV 中是否提供 FileName

桶内路径设置

最终生成的文件路径(点播存储内)

https://example.com/a/b/video.mp4

否(留空)

将 URL 中路径用于桶内

/a/b/video.mp4

https://example.com/a/b/video.mp4

否(留空)

忽略 URL 中路径

/video.mp4

https://example.com/a/b/video.mp4

是(custom/path/file123/video.mp4)

将 URL 中路径用于桶内

/custom/path/file123/video.mp4

https://example.com/a/b/video.mp4

是(custom/path/file123/video.mp4)

忽略 URL 中路径

/video.mp4

方式二:火山引擎 TOS 迁移

对于 TOS 迁移,最终路径仅源文件在 TOS 中的对象键 (ObjectKey) 和创建任务时的桶内路径设置共同决定。

  • 对象键 (ObjectKey):即文件在源 TOS 存储桶中的完整路径,例如 path/to/your/media.mp4
  • 桶内路径设置(创建任务时选择):
    • 将 URL 中路径用于桶内:将源文件的 ObjectKey 完全作为点播服务中的路径。
    • 忽略 URL 中路径:从源文件的 ObjectKey 中仅提取文件名部分。

TOS 迁移路径生成示例

源文件 ObjectKey 示例

桶内路径设置

最终生成的文件路径(点播存储内)

path/to/your/media.mp4

将 URL 中路径用于桶内

/path/to/your/media.mp4

path/to/your/media.mp4

忽略 URL 中路径

/media.mp4