曾几何时,我们还在请专业的绘画师帮忙绘制肖像。现在,我们竟可以使用AI技术快速定制自己的专属动漫肖像了。最近,日本高校研究团队开发了一种新的生成式AI工具,该工具可以提供渐进式绘图辅助,草图即刻变成动漫肖像。据介绍,该工具基于草图到图像(S2I)深度学习框架,通过将原始草图与生成模型的潜在向量进行匹配来实现。它采用预训练的风格生成对抗网络(StyleGAN)和两阶段训练策略。
在该研究中,Zhengyu Huang博士等人提出了笔触级解缠(stroke-level disentanglement)策略,将自由手绘草图的输入笔触与StyleGAN潜在结构代码中的边缘相关属性关联起来。这种方法允许用户操纵属性参数,从而更自主地控制生成图像的特性。
Huang博士表示:“我们在StyleGAN中引入了一种无监督训练策略,用于笔触级解缠,粗糙草图中的稀疏笔触可以自动匹配到动漫肖像中相应的局部部分,无需语义标签的支持。”论文作者之一Haoran Xie补充道:“我们首先使用预训练的StyleGAN模型作为教师编码器来训练图像编码器。在第二阶段,我们在没有额外数据的情况下模拟了生成图像的绘制过程,以训练草图编码器以处理不完整的渐进草图。
这帮助我们生成了与教师编码器的解开表示相一致的高质量肖像图像。”通过不完整的渐进式草图,我们就可以生成高质量的动漫肖像。屏幕前的你,心动了吗?