凡有光线,必有阴影。所以,就算同一张脸同一块布,也有明暗交替,从来不是一成不变。摄影师直接借用真实的光影就好,但漫画师借不到光,只能靠想象。毕竟线稿是苍白的,手动打上合适的阴影,画面才会立体,才会有光亮。这道工序并不简单,考验画师对空间的理解,萌新常常花大把的时间来调整阴影;就算有了经验,上阴影依然是一项费时费力令人头秃的活动。不过现在,漫画家(的助手)们有理由期待一个有头发的未来了。
因为,打阴影已经不是人类的专属技能,下面这个妹子的阴影,就是一只AI的手笔。只要为AI指明光源的方向,画面便有了光影错落。它仿佛还看得出花瓣的边缘,看得见叶子的脉络。除此之外,它也可以给动画上阴影,画面自然流畅。这只技艺精湛的AI,来自马里兰大学巴尔的摩郡分校的郑清元和小伙伴们,登上了计算机视觉顶会CVPR 2020。像开头提到的那样,打阴影靠的是对空间的理解。
可漫画线稿是2D的,AI要怎么看出3D空间来?需要修炼空间想象力。曾经,有大前辈用物体的2D轮廓和3D渲染模型做成一对数据,训练AI去想象2D线稿的3D形状,再加上写实派的阴影。不过,漫画有时并不那么写实,这里AI首先要学的是单色阴影,不渐变的那种。于是,研究团队想找到一种更合适的方法。既然,人类能依靠画面的光影来判断物体的3D形状,应该也可以利用漫画家已经打好的阴影,训练AI想象3D形状的能力。
当然,下面这样的成品不便当做训练数据,因为它不光打了阴影还上了色,AI分不清哪里是阴影,哪里是物体本身的颜色,会困惑的。相比之下,研究人员们机智地选择了Toshi老师著名的阴影教程。那里,有打上阴影前后的对照,人物有各式各样的姿势和朝向,还有不同的光照方向。训练数据集里,每张线稿都有它对应的阴影(Toshi老师画的),以及阴影对应的光源方向(手动标记),三者合起来算是一个样本。
数据集有了,它要调教的是怎样一只AI?阴影生成器分成两部分:第一部分叫做形状网络(shape net),负责给一张线稿编码3D空间信息;第二部分叫做渲染网络(render net),根据编码出的3D空间信息来生成阴影。每输入一个线稿和一个方向,就输出一个阴影。打了阴影之后,还有一个判别器负责检查它生成的阴影真不真实。
最初的判断依据,就是训练集里的那些样本,随着生成器不断生成新的样本,判断力也会不断升级。判别器越来越难被骗,生成器就要打上更逼真的阴影,才能继续骗过那双火眼。终于,生成器在判别器的鞭策之下,生成的阴影自然了起来。肉眼可见,它获得了一些有用的技巧。比如,参考已经存在的各种线条,不论头发还是衣服的褶皱。比如,光在侧面的时候,阴影打给了半边脸,刚好以鼻子为界。
更重要的是,当光照的方向连续变化,AI生成的阴影也在连续变化。注意,在训练数据集里,光照方向只有离散的26种,但AI依然学会了给更多不同的光照方向打阴影。生成单色阴影之后,只要把不同光照方向的阴影合成起来,还能拥有渐变的阴影。另外,就算画里的主角突然跑起来,AI一样可以招架。这让人想起了光影能力者新海诚。
虽然,现在AI的能力还停留在给人物上阴影,离把人物放进背景、放到更多的人物中间,可能有很长一段路;但假如有一天,动画的阴影可以交给AI来上,省下的时间拿去生产更多大作,那画师还是会秃头,想想都觉得兴奋呢。问题来了,就算有一天真的不用手动上阴影,还是要手动上色吧,就算黑白漫也一样。那样的话,就等着上色AI也进化到不用人类上手的那一天吧。其实也不会太远了,因为半自动的上色AI已经出现了。
比如,来自我国的Style2Paints,目前进化到了第四代(最新版本v4.5)。不加任何手动调色,便能得到这样的效果。稍微调教一下下,就获得了更加令人心旷神怡的作品。之前因为网页版游玩人数太多,官方宣布服务器撑不下去了,现在Style2Paints又以PC版的身份重生,想必是个生命力更强的变体。看来,不论是上阴影还是上色,不论是漫画本子还是动画,一个高产的美好世界,仿佛就要来了。