You need to enable JavaScript to run this app.
导航

蒙版弹幕

最近更新时间2023.04.20 16:33:09

首次发布时间2021.02.23 10:42:40

本文为您介绍了多媒体 AI 下配置蒙版弹幕的功能介绍、整体流程、使用场景和操作步骤等内容。

背景信息

视频弹幕渐渐成为一种文化,但随着字幕堆积,视频内容尤其是人物无法被清晰的看到。因此产生出蒙版弹幕解决方案,使得您在保留弹幕的同时能看到人物形象。

功能介绍

智能识别在保留弹幕的同时能看到人物形象。蒙版弹幕是一种升级的弹幕功能,即“不挡脸”弹幕:打开一条视频的“蒙版弹幕”功能后,弹幕就不会再覆盖人像,而是呈现从人体身后穿过的效果,视频画面会给人一种裸眼 3D 的体验。

  • 智能识别:表示将智能检测视频中人物出现比例,达到置信度阈值时生成蒙版;
  • 全量开启:表示对所有视频均会生成蒙版。

效果示例

使用场景

  • 适用于舞蹈、瑜伽类视频等肢体动作较多的培训、指导、教育类等视频的场景;
  • 适用于明星 cut、采访类等视频内容亮点在人脸的视频的场景。

优势特性

  • 国内一线业务打磨过的高性能实时处理能力。
  • 精准识别人像,人体检测结合人体分割轮廓绕行,精准率 96% 以上。
  • 保持源文件品质,不影响画质高清高质。
  • 支持弹性设置,自由配置蒙版弹幕触发的阈值,自由控制开关。

技术原理

在服务端对视频进行计算机视觉分析,生成蒙版,以一定协议标准进行蒙版文件的存放,移动端或者 Web 端对蒙版文件进行请求,对蒙版文件进行解析并在播放器上渲染。

alt

  • 转码->人体检测->生成蒙版->人体分割->下发蒙版格式解析,给一帧回调反馈给您通知其进行渲染,再在播放器上播放;
  • 您可以开启蒙版弹幕逻辑的判断触发能力,您可自定义设定阈值,只有字幕数量达到一定量级,才会开启蒙版弹幕能力;到达阈值前,会按正常弹幕效果呈现,不进行能力计费;
  • 支持中长视频处理,处理的媒资文件视频时长暂无限制,但处理长视频(>40min)视频文件时反馈时长暂为原视频时长 1.5 倍,生成蒙版的 0.1qps-0.3qps。

使用流程

alt

操作步骤

蒙版弹幕功能的具体操作步骤如下:

配置多媒体 AI 模板

点播控制台创建多媒体 AI 模板,如下图所示。根据自身业务需求,配置蒙版弹幕参数,具体操作请参见多媒体 AI 模板

创建工作流模板

点播控制台创建工作流模板。如下图所示。根据自身业务需求,支持选择自定义配置模板参数。具体操作请参见工作流模板

发起处理任务

您可以在上传视频时设置工作流模板发起处理任务,也可以对已上传的视频发起处理任务。

  • 通过以下方式使用已创建好的工作流模板上传视频,在上传时自动触发处理任务:
  • 通过以下方式对已上传的视频发起处理任务。
    • 点播控制台:具体操作请参见视频处理
    • OpenAPI 或服务端 SDK:调用 StartWorkflow 接口发起工作流,您需要传入工作流模板 ID。

查看处理结果

发起处理任务后,获取结果的方式如下所示。

  • 控制台
  1. 登录视频点播控制台,进入空间。

  2. 选择左侧导航栏任务管理 > 工作流任务,查看工作流任务状态。

  3. 工作流任务状态变为成功后,单击查看详情按钮,进入工作流任务详情页面。

  4. 单击查看产物按钮,进入视频详情页面。在多媒体 AI 页签下,查看蒙版弹幕。

  • 事件通知

查看工作流执行完成事件。