商汤研究院和浙江大学CAD&CG国家重点实验室合作研发了一个手机端实时单目三维重建系统Mobile3DRecon。与现有的基于RGBD的在线三维重建或离线生成表面网格的系统不同，该系统结合前端位姿跟踪结果，允许用户使用单目摄像头在线重建场景表面网格。在深度估计方面，提出结合多视图半全局匹配算法和深度神经网络优化后处理过程鲁棒地估计场景深度。
在表面网格生成过程，本文提出的在线网格生成算法可以实时增量地融合关键帧深度到稠密网格中，从而重建场景表面。通过定性和定量的实验验证，所研制的单目三维重建系统能够正确处理虚拟物体与真实场景之间的遮挡和碰撞，在手机端实现逼真的AR效果和交互。
基于该系统发表的论文被AR及MR领域国际顶级会议ISMAR 2020录用，荣获Best Paper Award，并被推荐至Special Issue of IEEE Transactions on Visualization and Computer Graphics。
本文提出了一个手机端实时单目三维重建系统Mobile3DRecon，该工作的主要贡献在于：1. 提出一种基于多视图关键帧的深度估计方法，能够在手机端高效获取较高精度的场景深度，同时能够一定程度上容忍SLAM位姿偏差和弱纹理场景的影响；2. 提出一种快速有效的增量式网格生成方法，该方法可以融合关键帧深度从而实时增量地重建场景表面网格，同时支持场景动态物体的移除，在中端的手机平台上实时运行；3. 搭建了一套完整的基于单目RGB的实时三维重建系统，该系统在中端手机平台上可以达到125ms每关键帧，获取的表面网格精度可以达到厘米级，基于该系统可以在手机端实现逼真的AR效果和交互。
本文使用OPPO R17 Pro手机采集带有真实场景深度的5组数据，用于从定性和定量两个方面对比Mobile3DRecon与一些SOTA方法的效果。通过定量和定性的实验验证了所提出的实时单目三维重建系统的有效性。Mobile3DRecon系统能够正确处理虚拟物体与真实场景之间的遮挡和碰撞，从而达到逼真的AR效果。