这下，你的老婆也可以变成3D的了。一条染着暮色的小路上，有路灯照常亮着。现在我要许个愿，让这2D的夜晚瞬间拥有立体感。砰！素材来自Soviet Games，3D效果由AI生成丨作者供图。这不是缩放，是视角真的在变。一会儿高一会儿低，一会儿左一会儿右，仿佛一只低空飞舞的昆虫视角。那么问题来了，我向谁许的愿？它是弗吉尼亚理工学院、台湾清华大学以及Facebook联合开发的一只AI。
随意向它投喂一张2D的RGB图，它便回赠我一幅3D景色。这样美妙的经历，可不能只有一次。于是我又许了个愿：砰！龙猫那个四季如春的树洞，也在我眼前生动了起来。素材来自《龙猫》，3D效果由AI生成丨naundob。
不用太羡慕我，因为只要打开浏览器，你也可以投喂这只AI：https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz。但在那之前，还是先来看看技术是怎样炼成的。脑补各路视角。给一张2D图片脑补出不同的视角，把它变成3D图像，不是件容易的事。3D效果由AI生成丨mmifku。
每变换一个视角，都会有不同的部位被挡住，也会有不同的部位露出来。AI怎么才能了解3D世界里复杂的空间关系？依照原本的设定，输入给AI的应该是RGB-D图像，就是一张色彩图和一张深度图共同组成的图像。想让图片获得立体感，深度数据很重要。(a)是色彩图，(b)是深度图，(c)是原始深度，(d)是锐化后的深度丨参考文献1。问题是，色彩图常有而深度图不常有。
于是论文也提到，深度图除了来自双摄像头的不同视角，也可以用普通的RGB图估计出来。团队直接从前辈AI那里借鉴了方法。有了深度图，系统便可以找出深度断层的所在，就是深度图上颜色发生明显变化的地方。然后，把这些断层整理分组，连成几条深度边缘。(e)是原始断层，(f)是从(e)整理出的几个深度边缘丨参考文献1。做好这些准备，才能进入重头戏：从新的视角上修复图像，脑补出原始视角里被挡住的部分。
修复当中用到的工具，叫分层深度图（Layered Depth Image, LDI）。开始修复之前，LDI上的每个像素都和上下左右的4个像素连通。AI每次选择一条深度边缘去修复，把空间上不相连的像素沿着边缘切开。这样，LDI就分成了前景和背景两个部分：(b)红线为背景轮廓，绿线为前景轮廓，(c)红为待修复丨参考文献1。需要修复的部分，就在背景轮廓附近。
因为，那里会有些原图上被挡的部分，需要在新视角里露出。前景就不用脑补了。至于怎样修复背景，方法是“联系上下文”，根据周围的像素来推测原本隐藏的部分。所以，首先要把背景分成“合成区”和“上下文区”：红为合成区，蓝为上下文区丨参考文献1。分好两个区，修（nao）复（bu）环节就要开始了。
修复工作由三只小AI负责：先是边缘修复网络，它利用上下文区的边缘，来脑补被挡住的边缘；然后是色彩修复网络和深度修复网络，它们拿到了边缘修复网络提供的物体结构信息，便能更科学地脑补被遮挡的色彩和深度。边缘修复网络，左为修复前，右为修复后丨参考文献1。当三只AI脑补完成，只要把它们给出的结果融进当初的LDI里，新鲜的3D图像便出锅了。
然后，把各种不同的视角集合起来，形成动态服用，疗效甚佳：素材来自NASA，3D效果由AI生成丨参考文献1。如今既已有线上版本，在下自然按捺不住前去游玩。一去便无法自拔。风景如画，哪幅画？就像上文提到的那样，AI自带深度估计模型，所以随意一张RGB图都可以拿来玩耍。不出门的日子，就这样肆意地沉浸在江山里吧。素材来小丫么小神婆，3D效果由AI生成丨作者供图。
素材来自Nekosuki，3D效果由AI生成丨作者供图。顺便甩掉一次脑袋。素材来自三星，3D效果由AI生成丨作者供图。也不妨去一趟隔壁次元。素材来自《守望先锋》，3D效果为AI生成丨作者供图。素材来自《魔女宅急便》，3D效果由AI生成丨roadrunner01。顺便再甩掉一次脑袋。素材来自Kevin Hong，3D效果由AI生成丨作者供图。
依在下愚见，这样快乐的Bug Feature不如就保留吧，千万不要做人类背影的针对性训练啊。假如再搭配一只播撒快乐的人类，美不胜收，鬼畜源泉。素材来自《明星大侦探》，3D效果由AI生成丨作者供图。当然，只是这样的话，并不算打开了新世界的大门。还想怎样？最后，真诚向你推荐一种正确的打开方式：素材来自《小林家的龙女仆》，3D效果由AI生成丨作者供图。
看了AI的抠图操作也知道，和欧派相比，其他都是背景（误）。勇敢的少年，快去创造奇迹。