AI技术复原《延禧攻略》历史人物样貌

作者: 赵雅琦

来源: 学术头条

发布日期: 2020-11-18

B站UP主Jack-Cui利用AI技术还原了乾隆及其五位嫔妃的样貌,并对比了《延禧攻略》的剧照作参考。原图画像来自清代宫廷画师郎世宁的《心写治平》。该效果用到的深度学习算法分别为:StyleGAN 2、DAIN、First Order Model。

清宫题材一直是电视剧行业的宠儿,近年来出现了很多火爆的单品,例如《甄嬛传》《如懿传》《延禧攻略》等等。抛开故事本身,电视剧中嫔妃们的美貌给观众们留下了深刻印象,让一大波观众高呼也想体验坐拥“后宫佳丽三千”的“渣渣龙”的快乐。而另一波吃瓜群众却陷入了沉思,历史上清朝后宫中各位嫔妃真的是如此美貌吗?留存下来的画像或许能告诉我们,她们究竟有多美。

近日,B站UP主Jack-Cui利用AI技术还原了乾隆及其五位嫔妃的样貌,并对比了《延禧攻略》的剧照作参考。很多人期待的“白月光”富察容音、“硬核少女”璎珞姑娘都在其中。原图画像来自清代宫廷画师郎世宁的《心写治平》。接下来,就带大家看看画像上的乾隆和嫔妃们“动”起来是什么样的。动起来的乾隆和他的嫔妃们(嫔妃排名不分先后,“渣渣龙”必须放在首位。讲道理,每个人都好美啊!!

)乾隆、纯惠皇贵妃、孝贤纯皇后、淑嘉皇贵妃、孝仪纯皇后、清高宗舒妃。据了解,此次制作的灵感来源于海外大神Denis Shiryaev的AI stuff教程,Jack-Cui在其基础上经过多次试验修改后实现了照片复原并动起来的效果。该效果用到的深度学习算法分别为:StyleGAN 2、DAIN、First Order Model。

StyleGAN算法由NVIDIA开发,可以生成逼真的、但不存在与这个世界的人物肖像,也就是利用AI产生虚假视觉效果的能力。此前,一名Uber工程师利用这个算法开发了一个人物肖像随机生成网站(奉上网址:https://thispersondoesnotexist.com/),每次刷新这个网站,就会从头开始生成新的人脸图像。

你可以在这个网站中找到各种各样、现实不存在的脸,比如网红脸、黄种人脸、混血人脸等。此外,还可以利用这种技术生成新字体,制造二次元老婆,当然用它来吸电子猫的也大有人在。在默认情况下,SyleGAN训练一张1024×1024分辨率的图片,需要使用8块GPU训练接近一个星期的时间,研究人员在说明文档中告知所有使用者:使用较少GPU可能无法达到最佳效果。

他们还列出了使用NVIDIA Tesla V100 GPU对不同分辨率的图像进行训练所需的时间以供参考。StyleGAN 2在原版的基础上进行了升级,重点修复artifacts问题,并进一步提高了生成图像的质量。

另一个算法DAIN(Depth-Aware video frame Interpolation,插帧算法)则由上海交大的团队开发,比之前NVIDIA的算法效果更清晰、帧率更高,可以把30fps进一步插帧到480fps,这已经超过了很多手机的慢动作录像帧率。通过这个算法完成的视频,即使将视频慢放8倍也不会觉得卡顿,大大提高了视频的流畅度。

而First Order Motion模型来自NeurIPS 2019论文“First Order Motion Model for Image Animation”,最初的目的是让“静态图片”动起来。经过一段时间的发展,它甚至可以让照片里的人物复活,为你演唱一首歌曲。根据作者介绍,这个模型可以轻易地让“权游”中的人物模仿特朗普进行讲话,还可以让静态的马跑起来,另外还可以完成模特的“一键换装”。

前一阵火爆全网的特朗普和蒙拉丽莎唱《Unravel》就是利用了这个技术(配乐请自行脑补)。技术从来都是一把双刃剑,AI也不例外。在AI的整个发展历程中,我们发现AI掌握了越来越多不断超出我们想象的新“技能”,一方面为我们的生活和工作带来了诸多便利和乐趣,另一方面也带来了很大的安全隐患,为不法分子带来了可乘之机。技术本身是中性的,是好是坏取决于使用它的人,我们希望它可以被正确、合理地被利用。

当然,感兴趣的小伙伴可以自己尝试一下,解锁你想要看的历史人物。本文中的动图来自B站UP主Jack-Cui授权,在此表示感谢,老规矩指路:附上UP主Github开源项目地址:https://github.com/Jack-Cherish/PythonPark。

参考资料:https://blog.csdn.net/qq_38284961/article/details/97562956、https://gitee.com/mirrors/DAINutm_source=alading&utm_campaign=repo、https://zhuanlan.zhihu.com/p/136606648。点击阅读原文,查看更多精彩!

喜欢本篇内容,请分享、点赞、在看阅读原文。

UUID: c06f7cd7-9ecd-4c9c-bdb5-c99051b818f0

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-下/2020-11-18_这些嫔妃也太好看了吧!AI复原《延禧攻略》真实历史人物,原来“硬核少女”魏璎珞长这样.......txt

是否为广告: 否

处理费用: 0.0044 元