火山引擎首次采用视觉大模型修复经典老港片

8月16日，抖音、火山引擎、中国电影资料馆共同发布“经典影像修复计划”，将对100部香港经典老电影进行4K修复，还原老港片的绝代风华。火山引擎为该计划提供技术支持，并携手中国电影资料馆对电影进行“AI+人工”的精细化修复。首批完成的4K精修影片包括《武状元苏乞儿》《A计划》《蜀山·新蜀山剑侠》。
火山引擎曾携手西瓜视频和抖音，完成100部国产经典动画和Beyond经典演唱会的4K修复。此次，火山引擎首次将视觉大模型应用于老片修复场景，借助其强大的生成能力和丰富的先验知识，实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。

电影修复工艺繁杂琐碎，即便是经验丰富的修复师，也需要1个月的时间。通过深度学习等AI技术，大幅提升老片修复的质量和效率成为可能。火山引擎视频云技术架构总监王悦说：“老片修复这件事情，其实我们每天都在做。”

字节跳动视频架构负责人、火山引擎视频云架构技术总监 王悦
老片中常见的清晰度低、流畅度低、色彩失真、有瑕疵等画质问题，在抖音的海量投稿里也广泛存在。通过服务抖音，火山引擎在老片修复方面已经形成了一套较为完整的智能处理技术方案，通过超分辨率、智能插帧、色彩增强、降噪等算法实现增强视频画质的效果。火山引擎首次将AIGC视觉大模型应用于老片修复中，一方面，大模型生成能力强，修复效果优于之前的算法，画面细节更自然；另一方面，大模型具有非常强的信息结构化能力，在学习了海量数据对后，可以在其中提炼出大量的知识并“存储”在模型参数之中，其生成空间更丰富，能够应对更多的修复场景。王悦提到：“打个比方，在‘看’过海量狗狗的照片后，大模型能学习并记住狗的样子，可以更生动形象地‘画’出一只狗。”
针对老旧电影修复的特殊场景，火山引擎多媒体实验室对视觉大模型做了三个层面的算法优化：

• 在图像生成方面，通过控制模型的边界条件、强化高质量生成空间等手段，显著提升大模型的图像输出质量；

• 在视频场景里，通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段，让大模型在修复的过程中可以使用前后帧的信息，更好地处理视频任务；

• 同时，火山引擎还携手Intel在算法和工程上进行了多项优化，能显著提升大模型在4K场景下的处理效率并兼顾算力成本。

修复前后对比

据王悦介绍，对火山引擎多媒体实验室的工程师来说，老港片修复最大的挑战不是算法技术，而是如何保留影片原有的艺术风格。中国电影资料馆副馆长张小光表示：“在很多影片的修复中，中国电影资料馆都想方设法邀请当年的主创走入修复实验室。”
此次4K修复《武状元苏乞儿》，就得到了导演陈嘉上的艺术指导。

在这一过程中，火山引擎和中国电影资料馆进行了多轮沟通和讨论，经过不断地测试和反复地调优，才达到算法服务于艺术的理想效果。以色偏和色彩的处理为例，此前的AI算法能够完成和优化一系列客观上色彩的问题，但对于部分艺术色彩上的还原容易产生偏差，火山引擎此次摸索了一种AI加速艺术修复的方案，能通过学习人工修复片段的数据获得更理想的色彩方案效果，从而加速修复进程。
王悦表示：“我们在不断思考，怎么让过去的老片焕发新生。利用大模型算法进一步提升老片的修复质量，无论是从技术实践还是从文化传承的角度来看，都是一次有意义的尝试。”
抖音副总裁陈都烨介绍，未来一年，《喋血双雄》《阿郎的故事》等100部香港电影的4K修复版，也将陆续在抖音、西瓜视频上线。

画面来自《A计划》

画面来自《蜀山：新蜀山剑侠》

画面来自《武状元苏乞儿》

面来自《大话西游之大圣娶亲》

这100部香港电影制作时间集中在上世纪70年代到90年代，涵盖徐克、成龙、关锦鹏、周星驰等多位导演作品。中国电影资料馆的电影策展人沙丹表示，这个时段正是香港电影的黄金时代。彼时内地正逐渐走向开放，香港电影成为很多内地青年了解世界的窗口。
当下，香港电影仍显示出旺盛的生命力。2023年，抖音二创视频播放量排名前1000的电影中，经典港片占比高达30%，其中，一半观众是30岁以下的年轻人。王悦说：“我们希望通过技术手段让现在的年轻人也能喜欢上过去的经典，观众可以重温曾经的回忆，形成几代人的共同记忆。”
希望通过我们的努力，可以拂去记忆的尘埃，也让更多人一起，重新发现香港电影之美。