让31年前的Beyond超清重现,火山引擎是如何做到的?
文/李杨
“无法可修饰的一对手,带出温暖永远在背后,纵使啰嗦始终关注,不懂珍惜太内疚。”
当熟悉的旋律响起,很多歌迷的青春记忆也被唤醒,几十年前的《真的爱你》现在听起来依旧激昂,那支开创了一个时代的Beyond乐队,也依然受人怀念。
7月3日晚,抖音携手环球音乐旗下厂牌宝丽金,重现了“Beyond Live 1991生命接触演唱会”及Beyond纪念音乐会精选内容。
据悉,“生命接触”演唱会,是Beyond首次在红磡体育馆举办的演唱会,也被歌迷们奉为最经典的Beyond演唱会之一。而这次,是该演唱会时隔31年首次被超清修复并重映。数据显示,当晚在抖音、西瓜视频、今日头条、鲜时光TV等平台,累计观看人次超1.4亿。
实际上,受限于拍摄器材、存储介质及录音设备技术等因素,当时的演唱会视频无论是在画质还是音质上,都已经很难满足当下观众的视听需求。
而超清修复,是借助技术手段为经典影像内容注入新的生命力。7月4日,作为Beyond演唱会超清重映的技术支持方,火山引擎的相关负责人从技术角度复盘了演唱会修复过程。
让经典“新生”
在修复工作开始之前,火山引擎团队需要先对Beyond演唱会的原始视频素材进行质量分析,然后根据分析结果,针对性的进行处理。
火山引擎多媒体实验室研究员赵世杰表示,分析之后发现,这场31年前的演唱会视频画面可谓“模糊不清、问题较多”。
首先在拍摄上,早期的录影设备解析度差,其拍摄的画面分辨率较低并且清晰度差,存在画面模糊、纹理缺失等问题。同时,因为设备原因,早期拍摄的影片还存在大量的过曝与死黑场景,以及存在较重的底噪。
在压缩存储上,早期影片一般采用隔行扫描的方式进行处理、编码、显示,该方式会带来交错条纹的瑕疵问题,对画面的美观性和完整性都有较大影响,并且上个世代的视频编码器压缩效率低,会导致压缩噪声和纹理丢失的问题。
另外在音质方面,由于过去的录音设备技术落后,导致演唱会视频也出现了噪声干扰、带宽不足、混响、响度问题等多个音质问题。
找到问题后,火山引擎需要做的就是逐一解决。赵世杰表示,画质修复工作主要包括三个方面,分别是去交错、色彩亮度增强以及人像修复。
“相比传统去交错方法一般输入仅做单交错帧,火山引擎多媒体实验室通过大规模数据学习,设计了多帧输入的神经网络去交错算法,更具泛化性,并且细节恢复得更好,运动场景的拉丝情况也能得到更好的解决”,赵世杰说。
而在人像修复方面,火山引擎基于深度学习模型,在消除人脸整体的模糊和压缩损伤的同时,进一步对人脸关键的五官重建,对眼睛、嘴巴、耳朵、皮肤甚至发丝都进行了细节重建和纹理添加,使得人脸清晰度更高更真实。
对于音质的修复,火山引擎音频技术团队研究员舒晓峰表示,主要是降噪算法、音频超分算法、响度算法修复声音瑕疵。
具体而言,火山引擎音频降噪算法针对音乐场景和人声场景实现了一个兼容的AI降噪算法,可以在保留人声的同时,抑制其他的噪声。同时,音频超分算法可对演唱会中的人声部分进行一定的频带拓展,使得人声更加清晰。
除了社会价值,还有产业价值
正是通过这一系列修复工作,31年前的Beyond演唱会才得以超清重现。实际上在此之前,西瓜视频于去年便联合火山引擎发起了“经典中视频4K修复计划”,当时主要是针对经典动画片的修复。
有研究数据显示,一部90分钟左右的影片,约有12万—14万帧画面,过去的修复工作需要每帧画面逐一完成。通常情况下,每人每天能够修复6000—8000帧,片长大约4—5分钟;遇到修复难度大的片子,每人每天只能修复几百帧,片长大约20—30秒。
而通过数字技术的应用,视频修复工作变得更加高效。火山引擎修复经典动画片的数据显示,算法目前已能够直接消除95%以上的瑕疵,剩下的则要辅以人工标注,再调整算法做二次优化。
对火山引擎来说,修复经典,不仅是一种社会价值的体现,更是对自身技术能力的自证。
在字节跳动内部,抖音等平台每天都有大量的视频投稿,这里面也包括许多低画质的内容,所以,火山引擎每天对内要做大量的视频优化处理工作,演唱会的很多修复技术,便来自于此。
不仅如此,作为字节跳动旗下的To B品牌,火山引擎也在把这些成熟技术推向企业市场。今年2月份,火山引擎对外发布了视频云全新产品矩阵,包括视频点播、直播、veImageX、实时音视频等产品,同时还提供传输网络、智能生产、智能处理等中台支撑服务。
其中,“智能处理”中便包含了画质检测、画质增强、高清低码、老片修复、视频DNA等技术能力。
IDC今年发布的《视频云发展趋势洞察》报告显示,近几年,视频云作为支撑ToC视频产业的技术底座,得到了快速增长。而当前,视频云正在摆脱传输管道地位,体现出更丰富的内涵。
报告指出,从2020上半年开始,视频云解决方案增速已大幅领先基础设施增速,在“传统”对象存储和CDN分发之外,全栈直播、点播、音视频通讯、智能生产以及其他解决方案正在获得客户青睐。
而火山引擎也享受到了这一市场趋势红利,目前,其已服务包括三七互娱、凯叔讲故事、华林证券、华数等在内的来自多个不同领域的企业客户。
在IDC看来,视频云的发展才刚刚开始,未来随着视频在传统行业的应用场景与范围不断拓展,中国视频云市场有非常广阔的发展空间,下一次增长高潮已在酝酿之中。
21世纪经济报道及其客户端所刊载内容的知识产权均属广东二十一世纪环球经济报社所有。未经书面授权,任何人不得以任何方式使用。详情或获取授权信息请点击此处。