用AI使蒙娜丽莎动起来,甚至是跟着你的表情一起运动,随着技术的发展,这些都已经不是什么新鲜事了。
这些面部追踪系统,往往都需要一定精度的摄像头。但是,如果文摘菌告诉你,这些摄像头其实全都可以撤掉呢?别急着反驳,这已经被康奈尔大学的研究人员实现了,整个过程他们没有用到过一个面对用户正脸的摄像头,就成功地实现了面部追踪,至于效果,好像也没有差到哪儿去。
既然没有用到摄像头,那我们来试试戴上口罩的效果:这时候可能有人想问了,不用摄像头,怎么追踪到的面部表情?文摘菌给一个提示,看到他们戴在耳朵上的仪器了吗?是的,他们主要使用的,其实就是那副耳机,用户的表情就能被实时转换为表情。
这个系统被取名为C-Face(Contour-Face)。康奈尔大学SciFi实验室主任、C-Face论文的高级作者张铖在一份声明中说:“该设备比任何现有的耳挂式可穿戴技术都更简单、更引人注目,功能也会更强大。”
在这个项目中,研究人员也不是完全没有用到摄像头,只不过他们用得及其隐蔽。可能已经有“陈独秀”想要抢答了,注意观察使用者的耳朵下方,左右分别配备了一个RGB摄像头,这些摄像头能够在使用者移动面部肌肉时,记录下脸颊轮廓的变化。
除了入耳式耳机,头戴式耳机也同样可以安装摄像头,进行面部识别工作。在使用计算机视觉和深度学习模型重建图像后,卷积神经网络能够分析2D图像,将面部特征转换为42个面部特征点,这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。
有了详细的脸部追踪数据,C-Face可以将这些数据转换成八种不同表情,包括中立或愤怒。不仅如此,C-Face还支持使用面部表情控制音乐应用程序上的播放选项。
不过,由于受到新冠疫情的影响,研究人员目前只在9名参与者的情况下测试了C-Face。尽管数量不大,但表情识别的准确度超过了88%,面部提示的准确度超过了85%。同时,研究人员发现,耳机的电池容量限制了该系统的持续作用,他们正在计划开发功耗更低的传感技术。
深耕于人机交互领域的华人教授张铖在这个项目的研发团队中,文摘菌发现了一位华人教授的身影——张铖,他也是这个研发团队的负责人。根据张铖个人网站介绍,他目前是康奈尔大学计算机和信息科学的助理教授,同时也是未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)实验室主任。