前阵子大热的电影《信条》你看了吗？无论是从剧情还是制作上这部电影都掀起了一阵舆论浪潮。影片中令人印象最深刻的无疑是几场“时间钳形大战”，高度还原了时间逆转的整个过程，而不是直接跳转到过去的某个时间点。为了把时间在不同方向上的运行真实的展示出来，导演诺兰表示，在这部电影中用到的特效镜头不到300个，甚至可能比大多数的浪漫喜剧电影还要少。真是让人实名瑞斯拜。
诺兰尽量坚持实拍也是他自己的“信条”，但随着科技的进步，不可否认，技术能做到的事情越来越多。这不，最近谷歌和牛津大学的研究人员发表了一款“视频剪辑新利器”，可以“重写时间”！在视频里可以只对特定人物的动作实现快进、慢放甚至删除等，而不影响画面上的其他人物，还可实现多种特殊动态效果。
当深度神经网络学会了“掌控时间线”，先来看一个例子，这里有一个孩子们跳水的视频，原视频中他们是分别跳入水中的：研究人员用了一种全新的深度神经网络进行视频处理，成功的做到让他们一同跳入水中！见证奇迹的时刻：是不是完全没有修改痕迹，看起来是如此的自然流畅。这就是谷歌和牛津大学研究人员提出的“时间重写术”，他们训练了一种深度神经网络，学习如何将视频分层分解。
这个模型不仅在不同的层中分离了人的运动，而且还可以捕捉与那些人相关的各种场景元素(例如，孩子们在水中溅起的水、阴影、映像)。当视频中的人被“重写时间”的时候，这些相关的元素也会自动与他们一起重新计时，这使得研究人员能够为各种重新计时的效果创建真实的视频重染。
再来看看这个“时间重写”大法还能做出什么毫无违和的视频~“冻结时间”，如下图所示，这里有两对小朋友在跳拉丁舞，可以看到，在原视频中从视频开始他们就一直在跳。接下来，就要“冻结时间”了！就像我们在电影中看到的那样，有超能力的主角可以在众人静止的时候活动。那么未来这种特效似乎可以放心的交给AI了！
就像这样，AI可以对时间进行偏移，例如偏移时间为1秒，我们可以看到右侧这对小朋友静止了1秒才开始跳，自然他们的舞蹈动作相对左侧的对照组也会随之延后1秒。除此之外，这个神经网络还可以随心所欲的控制“冻结”谁以及“冻结”时间，比如跳到一半让右边这对停一下~左边这对先停一下再跳也没问题~你以为就这？？当然不止。这个神经网络还可以让视频中的人物变成“重影”的效果。
人物叠化，在进行视频剪辑的时候，有一种叫做“叠化”的转场效果不知大家是否有所耳闻。什么意思呢？就是在视频中两个片段切换的时候，为了让切换效果更加自然而采取的一种过渡手段。也就是说，前一个片段的结尾和后一个片段的开头重叠在一起。而谷歌和牛津大学研究人员训练的这个神经网络可以做到与“叠化”转场类似的效果。研究人员把这个效果称之为——Duplication。
区别于视频转场，这个效果可以通过重写时间来叠化一段视频中的人物动作。来看个例子，原视频中粉色裤子的小女孩做了一个侧手翻：通过神经网络的渲染，可以变成以下效果：侧手翻的小女孩的动作叠化后是不是有点炫酷~ 另外右边蓝色衣服的女孩用到了冻结效果。两则视频对比来看，周围的环境完全看不出有什么异样，这样的特效可以说是非常成功了~通过分层神经渲染，只重新定义人物时间线，视频毫无违和感！
所有这些效果都是通过一种新的基于深度神经网络的模型实现的，这项技术的核心是分层神经渲染。即该模型可以根据视频进行优化，将每帧图像分解为一组层，每个层由一个RGB彩色图像和一个不透明蒙版α（统称为“RGBA”）组成，与视频中特定的单个/多个人物相关联。背景层以及1-3层需要注意的是，研究人员在这项研究中只关注重写时间。
也就是说，输出视频中的人物姿态都是在原视频中出现的，他们不生成新的、看不见的姿态或视点。值得一提的是，他们的方法不需要手动注释或显式表示动态场景元素，如阴影、水花和蹦床变形；而是只需要对人员进行粗略的参数化，然后，模型会自动学习将与人物相关的场景分组重建。重要的是，重定时效果可以通过对层的简单操作（移除、复制或插值特定层）而产生，而无需额外的训练或处理。
分层神经渲染更多理论详情，可以参见论文《Layered Neural Rendering for Retiming People in Video》：https://arxiv.org/pdf/2009.07833.pdf这项研究的相关代码也将在SIGGRAPH Asia 2020上发布，大会预计将在12月4日举行。最后，文摘菌也期待的搓搓手，希望未来AI能加入电影特效大军~