You need to enable JavaScript to run this app.

MSU“去交错算法”榜单更新,火山引擎排名全帧率赛道第一

最近更新时间2022.12.06 17:35:23

首次发布时间2022.12.06 17:35:23

近期,MSU图像媒体实验室更新了“去交错算法”排行榜单。在全帧率赛道上,火山引擎多媒体实验室的FLAD模型排名第一。火山引擎是字节跳动旗下的云服务平台,其FLAD模型曾应用于Beyond演唱会超清修复中。修复版本在抖音、西瓜视频、今日头条、鲜时光TV同步直播重映,当晚累计观看人次超1.4亿。火山引擎联合抖音超清修复的91年Beyond演唱会应用了FLAD模型

去交错是将隔行扫描的影像讯号,转换为逐行扫描影像讯号的一种方法。受限于处理速度和带宽的因素,过去的广播电视系统使用的是隔行扫描影像讯号。今天的新式设备只支持逐行扫描影像讯号,播放早期的视频需要去交错处理,否则画面会有条纹和闪烁。

MSU去交错排行榜单汇总了主要的去交错算法,分为全帧率和半帧率两个赛道,对算法去交错后的视频画质和处理速度排名。修复隔行扫描带来的交错帧,半帧率会重建无交错的一帧,全帧率则会重建两帧,帧率较原交错视频增加一倍,相比半帧率的修复难度更高。火山引擎FLAD模型取得MSU去交错算法榜单全帧率赛道第一

全帧率赛道中,火山引擎FLAD模型在评估更为全面的两个指标(SSIM和VMAF )上表现最优,排名该赛道第一。半帧率赛道中,FLAD模型综合表现排名第二。公开信息显示,Adobe、Sony、快手等公司的算法模型,以及FFMPEG、VapourSynth等视频处理软件内置的去交错算法参与了相关测试。弹奏吉他的黄贯中,FLAD模型对运动场景的细节恢复更好

据介绍,火山引擎FLAD是一种光流隐式对齐的视频去交错方法,主要有两项创新。一是采取双分支输入,在奇偶场拆分的基础上进一步拆分奇偶列,保证每张输入图与输入等比例,让FLAD对图像的结构感知更准确,且感受野更大。火山引擎多媒体实验室研究员指出:“FLAD模型奇偶场拆分与等比例拆分构成的双尺度处理分支,让交错帧恢复既有结构的完整性,又能很好地恢复细节。”

另一个则是FLAD提出的运动感知模块(Motion-Aware Module),探测帧间的运动情况,并进行特征对齐,让帧间内容更具连续性,同时达到互相补足细节的作用,使运动场景下的帧间内容更具连续性,细节恢复更好。

目前,火山引擎FLAD去交错算法已集成到智能处理产品中,开放给外部企业使用。