日常对话中,往往遇到的并不是理想的听觉环境,或大或小的环境噪音会不同程度地给人们听清对话带来难度。然而,听力正常者在极度嘈杂的环境下,也能一定程度理解对方要表达什么。这得益于在日常交流情景中,人们不仅仅靠耳朵去听,还会靠眼睛去捕捉并理解信息。视觉信息中对理解帮助最大的无疑是说话人的嘴唇运动,经过唇语训练,甚至仅仅靠观看说话人嘴唇运动也能完成交流。
中国科学院心理研究所行为科学院重点实验室杜忆研究组开展了一项多模态磁共振成像研究,包括功能磁共振成像与扩散加权成像(神经突起方向离散度与密度成像,NODDI),探究了说话人唇动信息辅助噪音下识别言语的神经机制。结果发现,视觉唇动能够促进听觉背侧通路脑区对于音节的神经表征,并且在不同脑区对于不同的发音特征的增强具有异质性。此外,视觉唇动还能促进听觉背侧通路脑区之间的有效性功能连接。
最后,听觉背侧通路的白质结构基础——弓状束的微观结构属性能够预测言语运动区对于音节的表征及其向听觉区功能连接的视觉增强效应。
该研究为视觉信息是如何促进噪音下言语感知这一问题提供了全面的神经机制上的证据,从激活水平、神经表征水平、脑区功能连接,到其白质结构基础,极大地促进了对于言语感知中多感觉整合机制的理解。该研究获得国家科技创新2030-“脑科学与类脑研究”重大项目、国家自然科学基金和中科院战略性先导科技专项的支持。相关成果已在线发表于Neuroimage。