在雷锋网举办的“第二届中国人工智能安防峰会”中,权龙教授发表了“三维视觉重新定义人工智能安防”的演讲。
二月的圣地亚哥阳光明媚,春暖花开。2019年CVPR(IEEE国际计算机视觉与模式识别会议)的领域主席会议后,30多名华人主席在拉荷雅海滩边的一个中餐馆聚餐,回顾近40载的计算机视觉研究,颇为感慨——八九十年代参加CVPR会议的华人寥寥无几,而2019年的CVPR,华人的领域主席就有40多位,可谓“三分天下有其一”,还有2位程序委员会主席,1位总主席。在这一领域,华人的实力已是今非昔比。
筚路褴褛,以启山林。在有影响的华人研究者中,不乏我们耳熟能详的名字,如马颂德、谭铁牛、沈向洋、张正友、朱松纯、马毅、汤晓鸥、李飞飞、孙剑等等。权龙教授更是最早的少数几个为整个领域所熟悉的华人教授。从1988年第二届国际计算机视觉大会(ICCV)开始,权龙教授就开始在这些视觉顶级会议上发表论文,他长期担任该会的领域主席,2011年还担任了该会的大会主席,2022年将再次出任CVPR大会主席。
权龙的计算机视觉研究始于改革开放后的八十年代。1984年毕业于北方交通大学(现北京交通大学)后,同年考取教育部派遣的留学生赴法留学,在法国国家信息与自动化研究院(INRIA)获得博士学位,加入法国国家研究中心(CNRS),他也是1990年建立的INRIA Grenoble计算机视觉组最早的成员。在法国国家实验室INRIA任职多年后,2001年他回国加入香港科技大学,建立计算机视觉研究组。
几十年来,他一直活跃在学界和产业界前沿。
在计算机视觉领域,权龙教授建树颇丰。他在九十年代视觉三维重建(3D reconstruction)的基础理论奠基方面做出了杰出贡献。在2000年以后,他又在三维重建应用领域做了一系列基于图像的建模(image-based modeling)的工作。最近,他还和学生创建了Altizure公司,打造了世界上最好的三维重建平台。
计算机视觉是非常宽泛的研究领域,涉及多个学科(如算法、几何、光学、机器学习等)的交叉。在各个时期,计算机视觉研究也有着非常显著的不同。2012年后的主要风尚毫无疑问是以卷积神经网络为代表的深度学习下的识别。但在此之前的相当长时间里,计算机视觉研究的中心问题是三维重建。
权龙教授曾介绍说,计算机视觉中的三维重建的核心问题就是通过多目的视差获取三维信息,识别不同视角下的图像,对每一个像素进行识别与匹配,然后进行三维重建。在完成几何三维重建后,再进一步对三维信息进行语义识别,这也是重建的最终目的。
回顾计算机视觉的发展,1992年Olivier Faugeras的论文“What Can be Seen in Three Dimensions with an Uncalibrated Stereo Rig”发表,标志着三维视觉的崛起。
到2001年Richard Hartley和Andrew Zisserman的教材“Multiple View Geometry in Computer Vision”出版,标志着三维视觉领域的基本理论框架确立。
这十年是三维视觉群星闪耀的十年,涌现了Oliver Faugeras、Richard Hartly、Andrew Zisserman、Luc Van Gool等等一系列以欧洲学者为代表的如雷贯耳的名字。当时在法国国家实验室INRIA工作的权龙、张正友(现腾讯AI Lab主任)就是这群星当中的华人代表。
权龙教授的代表作是他1995年发表的六点算法(“Invariants of six points and projective reconstruction from three uncalibrated images”)。90年代计算机视觉领域的第一热点是三维重建,而用非标定相机(uncalibrated camera)重建则是三维重建的终极目标。
Oliver Faugeras和Richard Hartley在1992年各自独立地解决了非标定相机两张图像下的三维重建问题,引入了基于七点算法的基础矩阵(Fundamental Matrix)的概念。也正是这项工作开创了三维视觉的黄金时代。
权教授的六点算法解决了非标定相机三张图像下的三维重建,进而也在理论上彻底解决了多视重建的几何问题(multi-view geometry)。因为更多的图像并不引入新的几何约束和结构,而更少的两张图像并不具有重建的唯一性。所以这项工作和Oliver Faugeras、Richard Hartley的工作一起奠定了三维重建的理论基础。
权教授1995年的这篇论文可以说完全是一篇几何学论文,论证严密,思路清晰,富有技巧。在计算机视觉领域这种风格的论文并不多。
这篇文章从几何不变量的角度研究三维重建,首次建立了六个三维点的不变量和它们在图像中的投影点的不变量之间的一个双线性方程,并构造性的给出了在三张输入图像下三维点的不变量的代数闭式解(closed-form solution),最终从这些不变量推导出相机的三维姿态和重建的三维点的坐标。这篇论文奠定了非标定相机三维重建的最小数据与重建的唯一性,即六个点和三幅图像。
几乎所有的基于非标定相机的三维重建都是基于这个算法。
在很长一段时间,权龙教授实验室的三维重建算法在性能上处于遥遥领先的地位。然而,了解这项工作的年轻学者并不太多,一方面是因为论文太数学,不好懂。另一方面,现代数码相机的标定相对容易,因此很多后继实际工作都可用David Nister于2004年提出的定标下的五点算法。但这些都不能掩盖六点算法在计算机视觉三维重建的理论贡献、数学优美和历史地位。
在三维重建的基本问题得以解决以后,一个最自然而然的应用就是用图像来建立物体的完整几何模型。这个应用就是所谓的基于图像的建模。它是计算机视觉和图形学的结合以及共同关注的问题。权龙教授实验室利用领先和强大的三维重建算法与技术,将基于图像的建模推到了一个新的高度。
2005年,权龙教授实验室发表了第一篇基于图像的对细小物体头发的建模。紧接着,又在2006年、2007年分别发表了基于图像的植物、树木建模。
到了2008、2009年更是把这个基于图像的建模拓展到了街道、城市的规模。这一系列论文都发表在图形学界的顶级刊物SIGGRAPH大会,标题整齐划一,都是统一的“Image-based X modeling”。X从2004年的hair一直变换到2009年的city。这些工作引起了图形学界的惊叹。
权教授很多学生都是计算机视觉领域的佼佼者。
在INRIA Grenoble时他指导的学生Peter Sturm和Maxime Lhuillier,如今是引领法国视觉界的知名教授。1998年,Peter Sturm在权教授指导下的博士论文获得了法国首届最优计算机博士论文奖。
权教授的学生还有在三维视觉与机器人领域颇出色的谭平教授、自动驾驶公司AutoX创始人肖健雄、Altizure CEO联合创始人方天、北大教授曾刚,旷世上海研究院负责人危夷晨,微软研究院资深研究员王井东、袁路,大疆张宏辉等等,可谓桃李满天下。
除了学术研究、培养学生,权龙教授近年更是把这些计算机视觉重建科研成果转化成产品,和学生共同创办了Altizure人工智能初创企业。普通用户可以通过手机或是无人机拍摄图像,并通过Altizure的云平台识别图像以及从图像中重建出高质量的三维模型。这一云平台更发展为大规模城市重建以及智慧城市时空平台的核心。
作为三维重建领域的顶尖学者,权龙教授还被邀请在各个场合向业界、公众普及计算机视觉,尤其是三维重建的研究与应用。在最近雷锋网举办的“第二届中国人工智能安防峰会”中,权龙教授发表了“三维视觉重新定义人工智能安防”的演讲。在演讲结束后,权龙教授接受了《赛先生》的独家专访,聊了聊他眼中的计算机视觉、三维重建以及可能对我们产生的影响。
权龙教授在专访中提到,他在80年上北方交大的,1984年毕业考取教育部赴法留学生。八十年代,人工智能也是热点,和现在有点像,他当时去法国第一志愿就是“人工智能”。他对图像和空间有着浓厚的兴趣,决定做图像理解,也就是计算机视觉。权龙教授回忆起1987年时,他的博士导师Roger Mohr教授参加了第一届国际计算机视觉大会(ICCV),并在第二届会议上发表了论文。
权龙教授谈到,最早很多人认为计算机视觉就是一些图像处理,但其实图像处理和计算机视觉还是不一样的。欧洲计算机视觉发展飞快,研究人员用数学工具去解这些视觉问题。2012年之后,卷积神经网络重新定义了视觉分类、识别与特征提取的任务。
在谈到深度学习引领的计算机视觉的挑战时,权龙教授表示,计算机视觉研究是个反向逆问题,没有完美的答案,研究是不会有止境的,需要持续往前走。三维重建的应用主要是设备和算力的问题,实时三维重建是一个挑战。
权龙教授强调,算法最重要,但要达到实用,只有算法是不够的,还要有算力。他提到,很多算法先是考虑结果,实践者是先行者,先把这些算法设计和调试出来,然后再去验证。
在谈到未来的突破时,权龙教授表示,没有人可以预测未来,但社会对人工智能的热情是件好事。落地应用已有很多,但关键在于如何采集高质量的数据。
关于自动驾驶,权龙教授认为理论、技术上是成熟的,关键是成本问题。谈到学生的培养,权龙教授表示要有最优秀的学生和正确的方向,强调了解领域发展和问题所在的重要性。
权龙教授创立的Altizure公司,旨在利用普及的硬件进行三维重建,推动无人机数据采集的自动化。他提到,面向消费者只是一个方面,更多的应用是面向企业和政府,市场巨大。
最后,权龙教授谈到学术界和产业界之间的互动,认为科学与技术的发展能够提高生产力,产生实用价值是其终极目标。他对学生的选择持开放态度,认为市场的变化为学生提供了更多选择。对于粤港澳大湾区的建设,权龙教授表示这是非常好的事情,期待大湾区的未来发展。