艺术家如何理解神经网络?David Aslan 是一个传统油画家,但他同时也对与艺术相关的科学技术有着浓厚的兴趣。他想要通过撰写这篇博客来分享他使用神经网络创作艺术作品的经验与知识,从而帮助其他的艺术家也能理解神经网络,甚至让他们也能在日后的工作里找到更有趣更炫酷的方式来实现并呈现他们的作品。David 把神经网络看成一种用来解决问题的运算工具,不过,它和传统的计算工具有很大区别。
他认为神经网络把一堆数据当作输入来进行处理,但是却输出并不是太相关的结果。但是,神经网络却可以从这些错误中进行学习,直到它达到一种平衡以至于得到一个近似「正确」的结果。艺术家如何通过神经网络创作艺术作品?和那些希望通过神经网络直接产生出艺术作品的计算机科学家不同,David 却是把神经网络当作一种创作艺术的工具。他使用「Deep Style」将原始的照片或者绘画作品转化成拥有其他艺术风格的图像。
基于这些通过神经网络转换出来的图像,他再利用 Photoshop 来修改并完善图像中的细节。具体来说,他的工作流程是这个样子:准备好一张打算转换的图像(被称作「内容图像」,content image)和若干张风格图像(用于提取图像中的艺术风格,style image)。通过 Deep Style,他可以获得若干张转换好的,拥有不同的艺术风格,但是内容一致的输出图像(被称作「风格化图像」)。
将这些风格化图像通过图层功能堆叠在原始的内容图像之上,最后再在 Photoshop 里用蒙版功能有选择性地保留或删去风格化图像的部分内容。最后再添加一个图层用于完善细节以及将上述步骤中最终保留下来的拥有不同风格的部分混合在一张图像里。
实验中的关键点神经网络和 Photoshop 中传统滤镜功能的区别 David 发现 Photoshop 中的艺术滤镜功能并不能识别出输入图像里的物体,因此这些滤镜只是对每一个像素都做了同一个简单运算。这种情况下,输入图像就失去了自己的「特异性」。与之相反,神经网络不仅能够识别出图像中的物体,也就是图像的内容,同时还可以鉴别出图像的纹理特征,从而使最终的输出结果更加真实。
「混合神经技术」的作用合成图像通常有着模糊的边界以及相对来说较低的分辨率。因此,人为增加的混合图层可以补偿一些由于神经网络处理而导致的信息或分辨率的损失,从而使最终的输出结果有着更加锐利的边缘以及更高的分辨率。这一部分的处理过程正是艺术家的」再创作「,也正如他所说,他将神经网络看成创作的工具之一。他的艺术工作背后的技术细节在这篇博客里,David 使用 Deep Style 来创作艺术作品。
其中,Deep Style 则是基于《A Neural Algorithm of Artistic Style》这篇论文的一个具体实现。这篇论文使用 VGG-Net 来分别从内容图像和风格图像中提取内容信息和风格信息,然后再分别计算它们和随机噪音图像之间的损失。通过反向传播算法,随机噪音图像最终可以被转换成拥有给定图像内容,但拥有另外的艺术风格的图像。
一些其他的思考显然,艺术家更愿意将神经网络看成「绘画」的工具。与之相反的是,计算机科学家则致力于设计能够真正自己「创造」艺术的神经网络。我认为就目前在该领域的研究成果来说,神经网络更适合成为一种「创作工具」而不是「创作者」。因为目前的神经网络或多或少都是基于概率模型设计的,也就是说,这些网络都是在给定条件下,通过输入的数据来预测一个输出结果。