近日,一个基于Tacotron2和Transformer实现文字转声音的AI应用——Uberduck.AI破圈了,不少TikTok、YouTube网红博主都在推荐这一神器。YouTube的网红音乐艺术创意机构Herr Fuchs发布了一首新歌,基于Uberduck.AI合成了知名嘻哈歌手坎爷Kanye West的声音,并创作了这首《The Breakup》。
这首融合了流行音乐元素和AI技术的《The Breakup》一经发布,就收到了乐迷和开发者们的关注。网友们盛赞这首歌的品质堪比坎爷本爷的作品,声线也如假包换,还有不少网友留言:“这首歌应该放到坎爷的新专辑里”、“我觉得这首秒杀了坎爷的其他歌”、“坎爷被打脸”等等。
这首听起来制作精良、几乎接近坎爷本人声线的歌曲,是在作词后,经由Uberduck AI将歌词文本转换为语音,这一步通过Tacotron 2将歌词生成语音,并进行声音风格迁移,对侃爷的声音进行模仿输出。配合上Herr Fuchs的两位艺术家作曲和制作,最终形成了这首作品。
Uberduck AI(项目地址https://uberduck.ai/)在官网中介绍,这是一个始于2020年的社区共建的开源项目,发起人希望可以打造一个友好、创意、开放的对话服务。
在Uberduck AI的官网上,只要输入语言文本,选择你想要模仿声音的角色,就可以生成他们的声音。
帮助UberDuck AI实现文本到语音生成的Tacotron2是Google发布的基于深度学习的端到端的语音生成模型,模型分为:具有注意力的循环序列到序列特征预测网络,该网络根据输入字符序列预测梅尔谱帧的序列,和WaveNet的修改版,可生成以预测的梅尔谱帧为条件的time-domain waveform样本,效果更接近自然人声。
Uberduck AI通过Discord和Github维护项目,目前已经有20多个代码贡献者,近千名成员,开发者可以优化生成模型、贡献角色语音语料库,还可以为生成出的声音增加效果比如唱歌、说唱、语气等等。在项目网站上可以选择模仿生成的角色,这些语音语料和模型优化,也都是由代码贡献者一起参与的。
目前支持直接生成的角色,包括动画人物:米老鼠、海绵宝宝、疯狂动物城里的狐狸Nick等;还可以选择诸如神秘博士、小黄人等影视剧里的角色。
这首歌的成功,也依赖于词曲作者的不凡才华。艺术家Reto Hüttenmoser和Gina Pigagnelli来自于瑞士苏黎世,两个人组成了Herr Fuchs这家创意广告机构,他们的主业是为汽车品牌商设计广告和营销方案,副业是YouTube上的网红博主。
这首《The Breakup》的歌词不仅非常符合Hiphop和Rap的审美标准,说唱歌词里还设计了非常有坎爷个人风格的表达,比如吐槽和卡戴珊的婚姻、竞选美国总统等等。词曲作者Herr Fuchs团队近期他们还创作了一首《Dogecoin Song - To the Moon》(涨到月球——狗狗币之歌),获得Elon Musk的转发,在YouTube上播放量破百万次。