西班牙艺术家利用StyleGAN2打造了一个AI设计师,借助50000张图像自学成才,没想到培养一个印象派设计师这么简单。从事创意工作的人,难免灵感枯竭,有意无意地参考、借鉴、模仿他人的作品。西班牙鬼才艺术家Bruno López,基于50000张Spotify上的专辑封面,让NVIDIA神器StyleGAN2自学成才,「进化」出了一个「没有感情的、抽象派专辑封面AI设计师」。
StyleGAN2从50000张Spotify专辑封面中,很快形成出一套自己的设计规范和风格流派。AI的训练过程类似人类「看图画找规律」,在专辑封面的布局上,AI看起来也深谙黄金比例、斐波那契数列、三分法等尺寸比例规范。
不过AI生成的专辑封面整体画风略微有些「诡异」,部分封面甚至可以用「恐怖」来形容:面容狰狞的人脸,少了一只眼球的眼睛,看不出是海浪还是动物尸骨的背景……更不用提模糊的文字、阴郁的色调。虽然画风清奇,但是配色及布局相对合理。除了受训练样本风格的影响外,这些伪影的出现也与模型本身有关。因为这50000个训练数据,均来自Spotify的编辑推荐榜单。
没有限定音乐艺术风格,这导致单个风格的训练数据不足,出现了较为严重的伪影和斑点。StyleGAN2中用标准化代替归一化可以去除图像中的特征伪影。StyleGAN是一种全新的生成器网络结构,由NVIDIA发布。这一模型借鉴了风格迁移的相关技术,可以将目标物体的主要属性,逐层修改输入。由于AdaIN中的实例归一化的存在,会导致风格迁移过程中丢失一些输入的关键信息,这就导致了生成图像中斑点及伪影的存在。
StyleGAN2是StyleGAN的升级版,提升了生成图像的质量,极大减少了特征伪影的出现,在细节处理上也更加精细。要想训练一个成熟的AI设计师,少不了训练数据和预训练模型。Bruno López介绍了「AI设计师」的诞生过程,还用这些封面做了一个抽象的MV(音乐录影带)。创建数据集:1、找到Spotify中对应的API,给定专辑ID可返回多个元数据,包括专辑封面。
2、写爬虫脚本,爬取Spotify编辑推荐列表中的专辑曲库,并下载专辑封面。3、获取一个数量约为50000,图像分辨率为640x640的数据集。训练过程:作者在Google Colab Pro中,用原始StyleGAN2的skyflynil实现进行了训练。过程耗时数天,在50000个周期后停止。单纯地依靠AI生成略显粗糙的专辑封面,在大艺术家Bruno López看来还差点意思。
而火遍社交网络的卡点视频,让他灵光乍现。作者基于lhzbrian写了一个Python脚本,创建随机潜在向量(random latent vector),随后对这些向量进行插值,以创建一个由AI生成的动画过渡。为了让动画跟歌曲同步,作者非常机智地使用了PyDub,让插值的速度跟每一帧的节拍音量同步。
最后,利用Pillow的Image模块及OpenCV的人脸检测功能,脚本就能只使用潜在向量,生成具有指定特征(如不包括人脸的黄色专辑封面)的图像。Bruno还非常体贴地考虑到了观众体验,毕竟一个数秒的片段总有种意犹未尽的感觉。为了让最终成片更具有观赏性,Bruno想到了排列组合。
他先是生成具有不同属性的多个片段,然后用Premiere压成一个视频,这就是最终的「Interference音乐视频」成片。在艺术上,创作与模仿的边界在哪里?从创作过程来说,艺术创作都是从临摹开始,临摹大自然,临摹社会。StyleGAN2在学习生成专辑封面的过程中,充分再现了从临摹他人到形成个人风格的过程。画家齐白石主张艺术「妙在似与不似之间」,他的画风格清新、星神兼备,自成一派。
其实齐老在早年间,也是从临摹他人画作开始的。在不断地鉴赏、临摹、思考中,逐渐找到了自己的个人风格。再反观「设计界的搬运工」的像素级抄袭,署上自己的大名,甚至用于商业获利。从业务能力和职业道德上来看,这些创作者确实还不如AI。