用AI重建脑中音乐

作者: 露⻄·杜(Lucy Tu)

来源: 环球科学

发布日期: 2023-11-16 21:52:28

科学家首次利用颅内脑电图证明,脑电活动可以被解码并用于重建歌曲。研究纳入了29名癫痫患者,通过人工智能模型解码大脑活动,重建出受试者所听到的部分内容。研究还分析了大脑对歌曲的反应,预测受试者所听到的内容。研究希望改善脑机接口,将大脑活动转化为合成语音,供那些不再能独立说话的人使用。

研究⼈员希望,有朝⼀⽇可以通过⼤脑植⼊物帮助那些丧失语⾔能⼒的⼈恢复健康,或者是⽤唱歌的⽅式把句⼦唱出来。最近,有科学家⾸次利⽤颅内脑电图证明,脑电活动可以被解码并⽤于重建歌曲。这项发表于《公共科学图书馆·⽣物学》的研究共纳⼊29名癫痫患者,他们均接受过颅内电极植⼊,以监测癫痫发作的情况。

当研究⼈员让这些受试者聆听平克·弗洛伊德的歌曲《墙上的另⼀块砖,第⼀部分》时,他们⼤脑内的电极会记录下多个脑区的电活动,包括负责感知⾳调、节奏、和声与歌词等⾳乐要素的脑区。随后,研究⼈员利⽤⼈⼯智能模型,对这些数据进⾏解码,重建出受试者所听到的部分内容。

此前已有研究通过解码脑电活动,成功重建出了话语或图像,美国加利福尼亚⼤学旧⾦⼭分校的神经科学家沙伊莱·贾因表示,这项新的研究是在之前的基础上做了进⼀步探索。研究⼈员还利⽤⼈⼯智能模型,分析了⼤脑是如何对歌曲作出反应,从⽽感知到⾳⾼、节奏和⾳调变化的。然后,他们会⽤另⼀个⼈⼯智能模型,将各种信息重新整合在⼀起,以便预测受试者所听到的内容。

结果显示,重建后的旋律⼤体⼀致,歌词虽有些混乱,但如果知道听的是什么,还是能辨别出来。为什么选择平克·弗洛伊德的歌曲?加利福尼亚⼤学伯克利分校的认知神经科学家卢多维克·⻉利耶解释道,因为这⾸歌“⾮常有层次感”,经过分析或许可以得到⼀些有趣的结果。除⾳乐外,这项研究或许还⼗分有利于通过识别脑电波⽣成⼈类语⾔。

研究⼈员希望他们的新模型能够改善脑机接⼝,从⽽将⼤脑活动转化为合成语⾳,供那些不再能独⽴说话的⼈使⽤。不过,⽬前的模型仍然需要通过⼿术植⼊电极。随着⽤于记录⼤脑活动的技术不断进步,未来我们或许可以⽤连接在头⽪外侧的超敏感电极来收集⼤脑活动数据。⽬前,为了⽣成更清晰的⾳频,研究⼈员希望将电极更紧密地放置在⼤脑表⾯,因为这可以更详细地研究⼤脑在听到⾳乐后所产⽣的电信号。

UUID: bd859ca5-f567-47c5-97df-365495c80419

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/环球科学公众号-pdf2txt/2023/环球科学_2023-11-16_用AI重建脑中音乐.txt

是否为广告: 否

处理费用: 0.0036 元