说到各种修图app中必备的滤镜,应该不少人用过吧,无论是instagram还是美图秀秀,都有的滤镜功能:把照片转化成各式各样的图画,你可以选择油画、铅笔画或者木版画。但是现在,我们已经可以反向操作了!把图画还原成照片!像这样!左边是原图,右边是算法生成的照片。
来自加州大学伯克利分校AI实验室的研究者发明了一种“图片-图片转换法”,可以将图片重构造成照片。这项技术被称作“循环式生成对抗网络”,可以使图像在没有对照数据的情况下,从源域X转换为目标域Y,实现输入图像和输出图像之间的映射。换句话说,就是照片可以转换成图片,图片也可以重构成照片啦,这一过程可以一直循环!
我们常规上觉得,把图片转换成照片,是不是只要把原来那个“照片-图片”滤镜反过来用就行了?但是事实上这是不可行的。因为照片转换成图片的过程中,会伴随着大量不可分离的对抗性损失,这说明图片中有很多元素都丢失了。如果要反向使用了,两次滤镜的使用会导致大量元素丢失,最后只会变成一张模糊的照片。
这群科学家研究了许多图片,通过抓取图片中的“特殊元素”,研究这些图片是如何转换成另一种样式的图片。同时研究不同复原方法造成的元素丢失具体情况,配合大量的算法计算,将逆映射和循环损失相结合,逆推出原照片,最后完成了图片-图片之间的转换!也就可以从油画反推出照片是什么样啦!
由于这项“图片-图片”技术是可以无限循环的,因此可以用在其他方面,比如风格转移:将同一张照片,转换成不同画家的画风,你可以选择“梵高”或者“莫奈”。当然,你愿意的话,把梵高的画转换成莫奈的风格也是可以的……
这套算法还可以用来替换照片中的元素,比如把斑马换成马(元素转换),或者是把夏景换成冬景(季节转移)。当然他们转换系统也不是每次都能成功的。特别是在涉及变形任务,比如“狗变成猫”、“猫变成狗”的时候,成功率就很低了,甚至出现了十分鬼畜的效果……
但是不管怎么样,这项技术还是非常值得期待的。依靠它,我们多少能够“真实”地看到百年前的画家们眼前的世界了呢~让我们拭目以待吧!