近日,麦康布斯商学院信息风险和运营管理教授Maytal Saar-Tsechansky与德克萨斯大学的计算机科学研究人员共同创建了“个性化DJ”。该程序会根据每个用户的情感变化,在正确的时间播放正确的音乐。这个程序中所运用的技术,正是情感计算。
情感计算研究可以从两个方面来理解,一是基于生理学的角度,通过各种测量手段来记录人体的各种生理参数,比如,人体运动数据,脸部表情、心理、脉搏、脑电波等,并以此为根据来计算人体的情感状态;二是基于心理学的角度,通过各种传感器接收并处理信息,并以此为根据计算人造机器所处的情感状态。
简单来说,情感计算研究就是试图创建一种能感知、识别和理解人的情感,并能针对人的情感做出智能、灵敏、友好反应的计算系统,它是一个高度综合的研究和技术领域。近年来,Picard领导的美国麻省理工学院多媒体实验室相继提出了近50种情感计算应用项目。
例如,将情感计算应用于医疗康复,协助自闭症者,识别其情感变化,理解患者的行为;在教育中应用情感计算,实现对学习状态的采集及分析,指导教学内容的选择及教学进度进行;还可以将情感计算应用于生活中,计算机能够感知用户对音乐的喜好,根据对情感反应的理解判断,为用户提供更感兴趣的音乐播放等。接下来,学术君就对情感计算在课堂教学、情感检测、医疗康复和舆论监控中的运用做详细介绍。
面部识别测量学生理解程度,上学的时候,你是否有过“假装听懂”的课堂经历?明明没听懂知识点,却在大家异口同声的“听明白了”的潮流中,怯怯地说自己也懂了。情感计算是什么课堂教学,教师不知道学生真懂还是假懂,那些课业有困难的学生很容易遭到忽视。SensorStar实验室运用面部识别技术,解决了这个问题。他们用相机捕捉学生上课反应,并且输入到计算机里面,运用算法来确定学生注意力是否转移。
孩子们的眼睛是专注于老师的吗?他们是在思考还是发呆?他们是微笑还是皱着眉头?或者他们只是觉得困惑?还是无聊?测量之后,老师将会收到一份反馈报告,基于面部分析,得出学生学习兴趣何时最高、何时最低。这样,老师能够对自己教学方案做出调整,满足更多学生的需求。此外,比尔和梅林达盖茨基金会资助了传感器手镯(sensor bracelets)的开发,这可以用来追踪学生的参与水平。
腕部设备能够发送小电流,通过在神经系统响应刺激时测量电荷的细微变化便可以得知学生的课程兴奋程度。机器学习定制学生课堂学习内容,在线教育有多火?毫不夸张地说,在西二旗地铁站,每两步就会挤到一位在线教育公司的创始人。每两个猎头电话里,就有一个来自在线教育公司。地铁里的在线教育广告,目前在线教育的基础思路,是将学生学习效果数据进行分类,在此基础上制定相关的教学内容。
同时根据学生个人能力和教学要求,实时推荐附加内容,调整教学速度。情感计算的介入,使在线教育的效率更上一层楼。英特尔公司已经开始利用摄像头捕捉和分析学生面部表情,从而调整其学习内容和环境。有了这些学生的表情数据,“Emoshape”这样的情感计算智能系统就能自动分析情感,并做出适当回复。这些系统具备了解决个体问题的能力,也帮助老师提供高度个性化的内容来激发学生的学习兴趣。
美国麻省理工学院计算机科学与人工智能实验室打造了用无线信号监测情绪的EQ-Radio。在没有身体感应器和面部识别软件辅助的情况下,EQ-Radio通过测量呼吸和心跳的微小变化,利用无线信号捕捉到一些肉眼不一定能察觉的人类行为,判断一个人到底处于以下四种情绪中的哪一种:激动、开心、生气或者忧伤,正确率高达87%。
美国麻省理工学院教授和该项目的负责人DinaKatabi预测,这个系统会被运用于娱乐、消费者行为和健康护理等方面:电影工作室和广告公司可以用这个系统来测试观众实时的反应;而在智能家居的环境中,该系统可以通过捕捉与人的心情有关的信息,调节室内温度,或者建议你应该呼吸一些新鲜空气。
情绪监测,EQ-Radio无线信号监测,目前,对美国麻省理工学院计算机科学与人工智能实验室而言,最艰巨的任务就是摆脱不相关数据的干扰。比如,为了分析心率,他们要抑制呼吸可能带来的影响,因为呼吸时,人的肺部起伏比他心跳时的心脏起伏要大。在自闭症治疗上,情感计算被寄予了厚望。
可穿戴“社交假肢”,美国麻省理工学院情感计算团队正在开发世界上第一个可穿戴的情感计算技术设备:一个具有社交智能的假肢,用来实时检测自闭症儿童的情感,帮助机器人使用自闭症儿童独有的数据,来评估这些互动过程中每个孩子的参与度和兴趣。这个装置用一个小型照相机,分析孩子的面部表情和头部运动来推断他们的认知情感状态。
还有一种叫“galvactivator”的工具,通过测量穿戴者的皮肤电流数据,推断孩子的兴奋程度。这个像手套一样的设备可以利用发光二极管描绘出人体生理机能亢奋程度的图谱。这种可视化的展现方式,能够清晰地展示出人的认知情感水平。NAO机器人,SoftBank Robotics NAO类人机器人将近2英尺高,类似于装甲超级英雄,通过改变眼睛的颜色、肢体的运动以及声音的音调来表达不同的情绪。
医疗康复,NAO机器人有视觉、听觉和通过完全编程控制自身动作的功能,人类治疗师会向孩子展示一张照片或者闪存卡片,用来表示不同的情绪,以教会他们如何识别恐惧、悲伤或喜悦的表情。治疗师随后对机器人进行编程,向孩子们展示这些相同的情绪,并且在孩子与机器人交往时观察孩子。孩子们的行为提供了宝贵的反馈信息,机器人和治疗师可以根据反馈信息继续学习。
在与机器人互动的过程中,孩子可以通过非常有条理的方式学习如何表达表情。值得一提的是,研究人员发现深度学习机器人对儿童行为的估计,要比人类专家更加具体清晰。大数据时代网络社区的舆情分析技术,主要集中于话题识别与话题跟踪、意见领袖识别以及情感倾向判别这三个方面。话题识别与话题跟踪首先在文本中识别出新话题,接下来在一段时间内检测并实时跟踪话题,实现该话题的再现,研究其随时间发展的演化过程。
意见领袖的发现和识别重点在于评价指标的制定以及模型的构建。例如,曹玖新等将网络社区用户看作一个个节点,根据节点之间信息的交互和传播过滤,从用户结构、行为和情感三个特征维度挖掘意见领袖。情感倾向判别在舆情研究中最为常见,首先收集web金融领域的文本数据属性,接下来构建金融领域的情感词典,最后结合语义分析,将语义规则应用到情感及情感强度识别当中,提升了分类器的准确率。
目前国外已有一部分研究者开始关注深度情感计算方面的研究,如Ayush Sharma等人利用语言数据联盟(Linguistic Data Consortium,LDC)中情绪韵律的语音和文本,研究韵律特征提取与分类的深层情感识别。舆情监控,随着后续情感方面的深度研究,多模型认知和生理指标相结合、动态完备数据库的建立以及高科技智能产品的加入等将成为情感计算相关研究的新趋势。
我们期待更自然的人机交互,也期待情感计算带来更多令人动容的应用案例。情感计算会成为下一个人工智能热点吗?欢迎在留言区发表你的看法。