如何评价 4 月 1 日张国荣超清修复版《热 • 情演唱会》？像素级还原 22 年前演唱会是什么体验？ 第1页

这个兄弟把我的想法说出来了。

修复的效果怎么说呢，就是让人仿佛感觉不到那份时间的沉淀感。

实在是让太让人怀念了，家人们。

在讨论修复的难度有多高前，我们先来对于分辨率有一个大概的了解，分辨率（Image resolution）泛指显示系统对细节的分辨能力，通俗点来说分辨率可以理解为影像的清晰度^[1]。分辨率越高代表影像质量越好，越能表现出更多的细节；但相对的，因为纪录的信息越多，文件也就会越大。

随着影视拍摄技术和显示技术的提升，各类型显示器的分辨率也在不断的优化进步，我们小时候经常看的DVD碟子一般是720 * 480像素的分辨率，而以前常见的1080P的显示器一般是1920*1080像素的分辨率。这是什么概念呢，同样大的一个屏幕， 1080P的像素点（pixel）有207万+，而DVD像素点只有34万多，差不多6倍左右的信息量。

那么4K是个什么概念，根据常用的4K分辨率标准 3840 * 2160，像素点足足有将近830万个，下图也能直观的反应出

而以前的各种影视作品，大多是由DVD保存的，本身的分辨率低就不说了，更主要的是经过了很长的时间，保存过程中难免会磕磕碰碰，这样就会产生各种划痕、噪点等问题。更说别张国荣在00年的这张演唱会了，时间跨度长达22年，即使再妥善保存，也是免不了各种各样的问题。

针对这种问题，应运而生的让老片子重换新生的技术就是视频修复（video Inpainting）。

视频修复是如何做到的？

在说视频修复之前，先拿图像举例，因为本质上视频就是由一帧帧的图像组成的，图像修复在我们日常生活中非常的普遍。

比如PS就是对于图像的修复，比如将某个物体P掉，就是图像修复的一种手段。同时也可以增强画质，修改亮度、对比度等等，甚至将原本的颜色重新替换掉。

上述的图像增强就是把花去掉，通常上有两种做法：

1 复制粘贴（copy and paste）：从图像周围找相似的像素点然后复制粘贴过来

2 生成式 （generative）：根据整个图像的内容「创造」出来

这两种方法各有优缺点

第一种复制粘贴式逻辑较为简单，如果周围的图像比较简单，那么效果就会不错。但是如果周围并没有跟想要修复的区域有相似的像素，那么这种方法就巧妇难为无米之炊了。

这个时候第二种方式就比较合适了，因为它可以从别的相似图像中找到共同点，但同样的计算量也会远远超过第一种。

为什么视频修复要比图像修复难度高很多？

前面我们说过了视频其实就是图像的组合，那么修复视频也就可以理解为修复很多种图像，那么无非就是花费多一些时间和计算资源了。

其实远远不是这样的，视频修复面临着比图像修复最复杂的一个点是「时间一致性」（temporal consistency）。理想的情况应该是随着时间的推移，逐渐变化的视频不应该出现闪烁或修复区域中对象的颜色或形状的突然变化。 并且有许多变量会影响实现时间一致性的难度——场景的复杂性、摄像机位置的变化、场景的变化或进行修复的选定区域的移动（例如移动对象）。

看过演唱会的同学们应该也知道，演唱者可能会很活泼，从这边跑到那边，同时全场可能会有几十个机位^[2]，那么拍摄到的演唱者的角度都会不同，那么这种大融合的演唱会视频的修复难度可想而知。

在以前图像的修复往往是手工完成的，而视频修复是无法使用人工的，还是因为「时间一致性」。因为人工修复的话往往会面临着对于不同参数和场景设置的理解偏差，比如对于明暗的理解，每个人都有自己的理解。

只有机器是无情的，他们可以无情的按照统一的格式对视频进行修复。再加上现在深度学习的发展，更是将视频修复的能力推上了更高的层面。

现在用于做视频修复的深度模型主要有两种：长短期记忆（Long short-term memory, LSTM）和Transformer，前者是很成熟的用于处理时间序列的模型，它可以很好的用来追踪视频中的时间信息，从而满足时间一致性的需求。后者是近几年来炙手可热的深度学习宠儿，它更是可以将计算集中到指定的区域，当然更高的性能也会要求更高的计算量。

如何让修复出来的视频具有沉浸感？

单纯的增加视频清晰度对于现在的深度学习模型已经不是什么大的挑战了，但不同于普通的视频修复。

演唱会最重要的体验就是「沉浸感」，也就是一种身临其境的感觉，单纯的清晰度提升无法做到这些。而这也是张国荣演唱会视频修复的难点，再加上演唱会视频中的色彩、画面切换很快，外加视频素材清晰度不高等问题。

赋予老旧视频「沉浸感」的技术就来源于腾讯云多媒体的超高清沉浸感修复引擎。