近期,在中央电视台播出的一期综艺节目《机智过人》中,音乐创作人李泉、黄国伦与人工智能助手“小冰”同台,分别为苏轼的古词《念奴娇·赤壁怀古》进行音乐编曲,看人们是否能够分辨出来哪首乐曲是人工智能创作的,而哪首又是由人类创作的。最终,“小冰”只用了30秒就创作出了一首古风的音乐,不论是多么才华横溢的音乐人,也无法达到这样的速度。那么小冰究竟是如何在短时间内完成音乐的创作和编曲的呢?
最近,获得了KDD2018学术会议最佳学生论文奖的论文《小冰乐队:流行音乐的旋律与编曲生成框架》对此进行了解释,而微软小冰首席科学家宋睿华也对此进行了解析。一首完整的歌曲,通常需要考虑和弦、节拍、节奏型以及编曲,需要其它乐器来进行背景音乐的伴奏。但是,此前的音乐合成领域的工作大多可以产生歌曲的旋律,却没有考虑多音轨编曲的问题。不同的音轨和乐器有各自的特点,如何让它们相互协调是一个需要解决的问题。
因此,中国科学技术大学、微软人工智能和研究院、苏州大学联合研发了一个用于歌曲生成的端到端旋律和编曲生成框架,也就是“小冰乐队”,它能够生成同时伴随多种乐器的旋律。在“小冰乐队”的技能实验过程中,研究人员首先找到并保存了14077个MIDI文件,每个MIDI文件中都包含各种类型的音轨,如旋律、鼓、贝司和弦乐。
为了保证实验结果的可靠性,需要对数据集进行预处理,比如要将所有MIDI文件转换为C大调或A小调,让所有音乐保持在同一曲调上。还要将所有音乐的BPM(每分钟节拍)设置为60,这确保了所有音符都是整数节拍。最后,将每2个小节并为一个乐段。利用数据进行了训练、调参和验证之后,获得了最终的模型。不过,“小冰乐队”的整体表现如何?考虑到音乐生成的独特性,并没有合适的量化指标来进行评估。
因此,研究团队邀请了8名音乐欣赏专家来对每个生成的音乐进行评分,从韵律、旋律、完整以及可唱性等方面进行了打分,从而证实了“小冰乐队”的有效性。在宋睿华看来,小冰会去吸收、会去创造,产生内容,在与人交流的过程中,她不光是一个语音、命令界面,而且她还具有自己的内涵。