梅⻄圆梦了。每届世界杯都会造就英雄,但也会有⼈率先离场。然⽽,⾜球场上滚动的,不仅有球员们的汗⽔,观众的欢呼,也有历届世界杯所迭代的科技。⾃1904年FIFA国际⾜联成⽴后,世界杯⾛进了⼈们的视线。但直⾄上世纪50年代,随着电视转播技术的出现,它才真正⾛向了千家万户。1998年的法国世界杯,电视转播观众⼈数达到40亿⼈次。然⽽,时⾄今⽇,依旧有⼀些⼈需要这样的“声⾳”。
距离卡塔尔6000多公⾥外,身穿红⾊连⾐裙、扎着⻢尾辫的“主播”⼷瑭,开始了她繁忙的⼀天,不断向全世界传递着这样的“声⾳”。
从“奥运会”⾛向“世界杯”来⾃世界卫⽣组织(WHO)的数据显示,截⾄2021年4⽉1⽇,全球约有15亿⼈罹患某种程度的听⼒损失,其中约有4.3亿⼈需要针对听⼒损失的康复服务;到2050年,预计将有近25亿⼈存在某种程度的听⼒损失,⾄少7亿⼈需要听⼒康复。
因此,由AI技术驱动的⼿语数字⼈届时或将出现在各种各样的实际场景中,是听障⼈⼠在试图认识世界、感受世界时必不可少的帮⼿。早在今年的北京冬奥会、北京冬残奥会上,⼀个同样身穿红⾊⻄装的AI⼿语数字⼈,就在北京卫视《北京您早》节⽬中对“冬奥赛事集锦”和“⼀起看冬奥”进⾏了⼿语播报,不仅降低了播报⼯作的运营成本,还为听障⼈⼠收看冬奥赛事提供了便利。她便是第⼀代⼿语数字⼈“华同学”。
她源于北京市科委科技冬奥专项⽀持的“冬奥⼿语播报数字⼈系统”课题技术成果,经北京冬奥会、冬残奥会期间实践应⽤改进提升⽽来。
AI⼿语数字⼈华同学的数据基础以《国家通⽤⼿语》为标准,采集⼤量动态数据,构建了符合国家通⽤⼿语规范的国内最⼤规模多模态⼿语语料库。
智谱AI的研发团队基于⼤规模预训练模型构建⼿语数字脑,通过语义蒸馏算法与⼿语翻译模型,⽣成和原⽂语义⾼度接近、语义精简且符合⼿语表达习惯的⼿语词序列。最后,通过跨模态拟⼈⽣产算法,驱动AI⼿语数字⼈华同学能够以连贯、精准的⼿势动作、表情、⼝型,为观众朋友提供专业、准确的⼿语体育赛事解说。⽽在这个冬天,华同学“学会”了更多的新知识。
基于冬奥⼿语数字⼈科研成果,她新学了⾜球相关⼿语词90个,提取了2018年世界杯8场⽐赛近1000分钟的语⾳解说⽂本,进⾏⼿语翻译词序列的语料标注,补充12场⽐赛14个球队365名球员的⼿语表达⽅式。然后,她⾛向了“世界杯”。
“华同学”赋能“⼷瑭”升级后的“华同学”不仅能够为赛事提供更加连贯精准的⼿势、表情以及⼝型动作,还能赋能给其他的数字⼈。此次世界杯,她便赋能“⼷瑭”,俩⼈⼀同出场。
她们超有感染⼒流畅的实时解说,带给了观众们新奇的体验。世界杯期间咪咕推出智能⼿语主播⼷瑭,由智谱AI与凌云光提供技术⽀持。那么,“华同学”是如何赋能给“⼷瑭”的呢?主要包括以下三点原因:新增⼿语词⼿势数据:依据《体育和律动常⽤词通⽤⼿语》以及世界杯解说⾼频词语,新增⾜球、⾜球项⽬裁判⼿势、⾜球联赛等相关⼿语词,共计90个。
补充语料:为提升⼿语翻译引擎在世界杯解说中的表现,项⽬组提取2018年俄罗斯世界杯,8场⽐赛近1000分钟的语⾳解说⽂本,进⾏⼿语翻译词序列的语料标注。并根据⼿语数智⼈解说场次,补充12场⽐赛14个球队365名球员的⼿语表达⽅式。⼿语翻译算法:⾜球领域属于特定领域,通⽤领域的知识难以直接满⾜特定的业务场景,基于这点,智谱AI选择使⽤原始模型加上少量的领域数据对来获取⼀个⾯向特定领域的⼿语翻译模型。
为了提⾼模型的泛化能⼒以及领域适配性,他们采⽤了⼀种新颖的正负样本⽣成的对⽐学习⽅法,以区分正确的输出和正确输出。
此次为世界杯加油助⼒的数字⼈技术,是借助基于深度神经⽹络的⾃然语⾔处理、⾼逼真度3D渲染、⾏业⼿语语料库、融合⼿语知识的翻译模型等技术,让更多⼈感受到了绿茵场上的赛事激情。但AI技术需要持续不断地发展,不能在赛事之后变为“寂静的森林”。
智谱AI也将继续秉承着MaaS(Model as A Service/模型即服务)的理念,提供模型共训服务、模型授权服务,以及API开放平台,围绕平台形成⼈⼯智能的应⽤⽣态。在数字⼈技术⽅⾯,智谱AI也将持续研发技术,开放多层次的应⽤,包括⼿语播报、⼿语翻译以及AI⼿语词典,为残障⼈⼠平等参与社会⽣活创造⽆障碍环境,切实提⾼⼤家的社会参与感和⽣活幸福指数。让科技服务公益,让世界更有爱(AI)。