摘要就是问一下, 究竟存不存在这样一种展示方式。它的目的压根儿就不是为了去追求商业利益。它不需要花费巨大的一笔钱。它不用进行翻拍。它没有那些画蛇添足多余的举动。它是一种低成本的模式。它能够供大家一起欣赏。它可以让经典变得更加清晰可见。
本文分享自华为云社区, 这个文章的标题是《除了重映和翻拍, 重温经典的第三种可能》, 而且这篇文章的原文作者是音视频大管家。
时隔了12年以后, 电影《阿凡达》又再次重映了, 在国内市场当中的累计票房收入, 目前预估已经达到了惊人的14.8亿元人民币这么多!
经典就是经典!
一旦提到经典电影重新在院线上映这件事, 倘若一部影片没能拿到奥斯卡的最佳摄影奖以及最佳视觉效果奖还有最佳艺术指导奖这三项大赏的支持, 就几乎不太可能拥有像《阿凡达》这样敢于进行重映的充足底气。
再举几个例子来说, 包括那部《泰坦尼克号》, 再加上中国国内的周星龄导演的那部《功夫》等影片, 它们在重映的时候, 更多情况下其实是需要花费非常巨大的资金来做修复工作, 甚至在某些情况下还要把画面还原成3D版本。从客观的角度来进行说理和分析, 这类作品的市场实际效果通常都是比较一般的。
为了能让那些经典的东西重新出现在大众视野里, 进行翻拍也算是一种办法, 比如推出了《大话西游III》, 还有《倩女幽魂》等等, 以及《白蛇传说》这样的作品, 可是观众的态度并不认可。
要知道一部作品之所以能成为经典, 不只是依靠剧情和导演, 同时也需要演员的发挥, 还得包含当时那个时代的特有特征等多方面因素共同起作用, 因此在进行翻拍的时候, 稍有不慎就会让原本该有的那种独特的韵味消失不见。
咱们想问的是, 是不是存在这样一种呈现方式, 它并不把追求商业利益放在首要位置。这种呈现方式不需要花费巨资, 无需进行翻拍, 也去除了那些多此一举的、多余的内容。它是一种在低成本的前提下实现的呈现形式。它能够供大家一起欣赏。在这样的呈现下, 让经典的形象变得更加清晰可见。
有!因为人们始终在追求经典影片再一次展现出精彩的效果, 这个追求从来就没有停下来过。为了能够让这些经典作品重新散发出耀眼的光芒, 所以华为云和视频云这块业务就开启了针对香港地区那些经典电影的高清修复的工作流程。
在华为视频这个APP里面, 大家可以去重温一下属于80后那段青春记忆的往事。
一、电影修复要做什么
首先我们要做一个明确的范围界定, 也就是我们现在所讨论的核心话题, 是针对电影领域里的AI修复技术这一件事而言的。正因为如此, 像《泰坦尼克号》这种需要投入极高成本、并且依靠大量人力去完成的那种修复工作, 就不在我们的讨论范畴之内了。
电影修复工作给人最直接的印象, 就是会让图像的画质变得更加清晰。进行这项工作的第一步, 就是要深入去理解图像之所以不清晰到底是因为什么原因造成的。我们在表面上、直观上容易形成的认识是: 主要是因为时间过去得太久了。
从专业的角度来进行分析, 电影修复这项工作, 除了在视频方面做修复处理之外, 还得把视频增强也搞上, 只有这样的话, 才能够获得更加理想的成果。
1.视频修复
视频修复这项技术, 它需要去解决的核心问题, 其实就是视频画面出现的各种质量下降的现象, 而这些质量下降的现象, 是会在视频的拍摄、压缩、传输、以及存储, 这几个不同的环节, 由于多种多样的原因导致出来的, 那么如果我们把这些画质问题的具体表现展开来讲一讲的话, 主要就包括了像划痕、还有压缩产生的失真效果, 以及噪点这一些情况在里头, 所以为了让大家能够更加直观地去体会到这些问题到底是什么样子的, 它们又会对最终的观看画面造成多大程度上的影响与破坏, 因此我们就特意去挑选和找到了那些在各个方面都存在明显问题的图片素材。

因为保存或者是搬运的时候受到了损坏, 从而导致的出现了划痕。

压缩带来的失真

因为拍摄设备受到局限, 所以画面里会出现噪点。
当然, 上面说的这些图片, 并不仅仅是存在单一的问题。同样的情况也存在于电影修复的实际操作环境之中, 在那里, 通常都是含有好多种类的失真现象的, 并且各种失真的严重程度上也存在着很大的不同, 所以在进行修复工作的时候, 就必须要把这些因素全部综合起来考虑清楚。
2.视频增强
关于视频增强主要增强了哪些部分这一问题, 需要具体展开说明, 同时对于肉眼如何能够辨别出增强效果这一方面, 也需要详细进行观察和分析。
视频增强的效果一般是体现在四个方面。这几个方面就是分辨率、帧率、动态范围和色域。

分辨率, 在这里, 指的就是显示器它能够显示出来的那个像素点的数量到底是多少。显示器可供显示的像素点越多, 那么画面呈现出来的样貌就越精细、越清晰。这很明显, 4K分辨率所能显示的内容, 肯定就比720P分辨率所能显示的内容要清晰很多。至于视频增强技术, 它是可以提升图像分辨率的。

咱们都知道, 视频这个东西, 它是用一帧一帧的图片给组合起来的。如果咱们把左边的那个视频来看作是一秒钟有24帧图片的话, 右边这个是一秒钟有60帧图片的。很明显, 右边那个视频看上去是更加流畅, 也更加的顺滑一点。

高动态范围这个词, 大家一般叫它HDR, 而标准动态范围, 就简称是SDR。咱们通俗来解释讲, 就是在有了SDR的这种基础条件之上, HDR它确实能够做到, 让画面中那些本来就很亮的地方变得再亮一点, 而那些原本昏暗的地方变得再暗一些。
还有, 色彩的范围这个事儿, 它可以由原来的BT709这个标准, 增加到BT2020这个更高的标准去。并且随着这一切的变化, 色彩的过渡也会变得更加平滑许多。

人们所说的广色域这个概念, 其实可以被理解成一种对颜色范围进行的单独的、有针对性的调整工作。这种调整的情况具体是怎么发生的呢, 就是在原来的709BT色彩标准的基础上, 把这个标准提升到了2020BT这样一个更高的水平上。
总之, 视频增强主要在以上四个方面来增强效果。它解决的是因为显示硬件升级, 而导致以前采集的、制成的视频, 没法实现最优匹配这一问题。
二、在进行电影修复这个工作时, 人们会遇到非常让人头疼的三大挑战。
现在的情况是大家要想用自动的方式来对老的电影进行修复, 这并不是一件简单的容易做到的事情, 它正面临着包括数据、算法以及评价等在内的三大挑战。
1.在当前的情况之下, 针对盲修复这种任务的泛化能力提升问题, 确实存在着一定程度的挑战。
电影的失真情况通常会把上面提到的那些问题都包进去, 这玩意儿就是被成为混合失真的一种东西。所谓的盲修复方法, 是指在动手开始修复画面之前, 人们根本还不知道视频里头具体包含了哪些毛病的那种做法。这种办法用的是具有通用性的算法技术。
它要面对的一个大难题是: 怎样才能让这些泛化的算法变得更加灵活多变一些, 好去对付千差万别的各种修复场景;另外还要思考的是该怎么通过利用数量有限而且可以互相比较的数据样本, 来把自己的学习本事给提高上去。

混合失真

强度不一失真
2.这个算法面临一个挑战, 那就是要怎么做到在同一时间里面, 使得图像的各种方面, 都能够得到提高。
就跟出现画面失真的那种情形是一回事, 视频增强在实际去用的时候, 往往是要把好几个任务组合在一起弄的, 比如说吧, 要把一个1080p 30fps SDR这样子的视频, 提升成一个4K 60fps HDR类型的视频, 这就意味着, 需要同时把图像的分辨率由1080这个数值变成4000这个数值, 把每一秒钟里面的帧数从30这个起点提升到60这个终点, 还要把标准动态范围这个东西转换为高动态范围。
也就是说, 我们需要让视频里的图像像素变得更高一些, 光线能够看得更明白一点, 色彩看起来更加饱满, 颜色的过渡过程变得更为顺滑, 同时运动画面的显示效果也要显得更加流畅。
这就意味着在对多个任务进行优化的过程中, 必须要采取联合增强的手段来实现上述目标。
3.我们来做一个关于图像生成质量的评测挑战, 重点就在于对那生成出来的图片的质量进行一番评估。
过去用来搞评价的那些老办法, 像什么PSNR, SSIM, 还有VMAF, 主要是有这些算法, 但是用起来效果其实不太好。那些依靠深度学习来搞修复和增强的技术, 最后输出来的信号特征, 跟原始图片比起来, 差别简直太大了。
举个例子说, 图片Reference这个东西, 在一串处理流程走完以后, 传统的评价算法算出来的结果是Patch0, 但是我们人类自己凭感觉去看的评判结果是Patch1。这就说明传统的算法和主观的感觉对不上一条线, 存在着很大的差异, 所以这个时候就非常需要新的评价算法来派上用场了。

三、关于华为云视频云这个事, 到底是怎么去修复电影这个问题的呢?
大家可以先通过直观的方式, 来看一看在应用华为云视频云修复技术以前和以后, 电影的画面对比效果到底怎么样, 请点击这个链接去观看经过修复以后的《黄飞鸿》片段内容。

1.电影修复技术架构
华为云平台那边, 他们为了能够做到修复过程变得更加轻便, 同时又能把成本降下来, 还能够适应各种不同情况, 所以他们就搭建起了一个整套的电影修复技术框架东西。这个框架里面有质量检测这一部分, 也有算法调度那一块内容, 同时还包括主观和客观两个方面的评价机制, 具体是怎么做的, 下面就会详细说明。

2.具体操作
华为云视频云在处理失真问题的时候, 是把传统的强度检测当成先验输入的。意思就是, 得先预判一下那些可能会出现的问题存在不存在。把这种预判的结果输入到AI算法里面去。然后构建多任务的混合失真修复模型。最后是进行修复的动作。

所谓超分, 这个说法就是指, 我们使用媒体处理技术的手段, 把分辨率较低的图片, 变成分辨率较高的图片。
超分这种功能实现起来它的原理是这样的: 第一步是要利用大量的、高分辨率的图像来进行积累并且进行学习;第二步是把低分辨率的图像当作学习对象, 再把之前学到的高分辨率图像的学习模型引入进来进行恢复操作;最后一步是得到图像的、那些比较细微的高频部分细节。
这样就能获得更好的、图像恢复方面的效果, 同时还能提高图像的、识别能力以及识别精度。
针对绝大多数电影以及电视剧, 观众通常把注意力更多放在面孔上面还有字幕方面, 所以说这两个区域是特别重要的增强部位, 并且带有很强的先验。
关于华为云视频云这部分内容, 它是从网络轻量、稳定以及整体效果几个方面来切入的, 然后实现了一种基于语义内容的自适应超级分辨率算法, 大家可以参考下面显示的图表来进行对比。

空域与时域都是一个相对的概念, 大家可以把空域理解为影片里面的某一个具体的画面镜头, 而时域就更着重于去关注那些画面和画面之间的衔接关系是怎么回事儿了, 要是说空域的增强是对每一个单独的画面去做增强处理的话, 那在人的视觉感知层面来说, 时域的增强往往就指的是影片画面连着下一个画面的时候会显得更顺滑而且更流畅了一些, 因此在视频增强的整个操作过程里面, 插帧这个东西在很大程度上是特别依赖于运动估计的。
这个估计的准确度会受到影响, 影响的因素包括遮挡、小物体大运动、重复纹理以及运动模糊这些场景。
华为云视频云通过对网络进行改进, 并结合一些传统的方法来做事情, 比如参照在时空域里面相邻的那些运动向量, 对这些光流实施修正操作, 具体表现如下:

现有的那些靠深度学习来搞对比度和饱和度增强的算法, 因为数据不够多, 所以很难得到特别好的效果。华为云视频云平台这边呢, 它是去找图像在亮度和色彩空间里面的那些统计规律。然后把这些规律当成网络的先验输入。这样做的话, 能够比较好地解决数据不足这个老大难问题。

既然已经讲了这么多内容, 那么你心里肯定是想问, 到底在什么地方可以看见呢?
小编我不再吊大家的胃口了,请你移动到华为视频的里面, 找到电影这一项, 然后再点击高清修复这个功能, 欢迎大家去进行对比, 并且向大家提出建议。
这个周末的时间, 咱们是一起到一起去把星爷的那些个老电影给重新再看上几遍的, 当然了, 还有那些以前就很经典的作品。
面对这段一样的片段, 现在的你和过去时候的你, 那个心境到底是不是完全一个样呢。



