公⾥外的隔墙观物，我们做到了！
中科院物理所
2023-08-27 11:54:45
转⾃公众号：格致论道讲坛
成像艺术是⼀⻔古⽼⽽⼜全新的科学，未来我们要不断发展成像技术，以此服务⼤众、造福⼈类社会。
⼤家好，我叫徐⻜⻁，来⾃中国科学技术⼤学。今天给⼤家分享⼀下如何实现“隔墙观物”。我们把这个⽅法叫做⾮视域成像，也可以叫⾮视距、绕视或者拐⻆成像。⾸先跟⼤家分享⼀个视频，是我们近期在实验室内搭的⼀套实验装置，展示了对隐藏的、视场外的场景进⾏成像。今天希望跟⼤家分享我们是如何做到这⼀点的。
它的⽬标很简单，就是拍出⾁眼看不到的场景。⽐如说在上图中，能不能⽤⼀个相机拍到墙后⾯房间⾥的场景，这就是我们想做的⾮视域成像。
它有什么应⽤呢？在反恐、反劫持、⾃动驾驶、医学检测以及灾难救援等等场景，我们都希望能够看到⾁眼看不到的⼀些事情，这是我们想要实现的⽬标。
我们再看⼀下如何实现⾮视域成像。⼀般是主动发⼀束激光到⼀个可⻅光墙⾯上，这个墙将光散射到隐藏的场景，再被隐藏⽬标散射回到墙⾯，最后墙⾯将光⼦散射回到探测器，被探测器接收。对接收到的光⼦，利⽤算法进⾏计算处理来实现成像。
要想实现⾮视域成像，我们主要⾯临三⽅⾯挑战。第⼀个挑战是漫反射。我们在家照镜⼦，镜⼦是镜⾯反射。因此我从相机右侧，通过镜⼦可以很容易看到左侧的⼩兔⼦。如果我们⾯对⼀个⾃然场景中的墙⾯或地⾯，其实就是漫反射的过程，整个光的空间信息都会散掉。所以我们再⽤相机去看墙⾯，只能看到⼀个散斑，失去了所有信息。这就是我们⾯临的第⼀个挑战。
刚才介绍了，我们是主动发⼀束激光，经过墙⾯到物体再到墙⾯的多次散射。每次散射光都是散到整个空间的，最后能回到探测器的光⾮常微弱。所以第⼆个⾯临的挑战是如何对这么微弱的信号进⾏探测，这是技术上⾯临的⼀个核⼼难题。
第三个挑战，每次散射过程中光是散到整个空间的各个⽅向，所以实验测到的时间信号其实是光场⾥⼀个光的圆球，存在复杂的时空混杂，失去了整个图像的信息。对这样复杂的数据，需要⽤到我们的计算成像算法，或者叫它⼈⼯智能算法来进⾏处理。
我⼤概是从2015年开始⾮视域成像相关的研究，⾸先做的就是成像算法。当初我还在麻省理⼯学院（MIT）的时候，我们进⾏了⼀个算法突破。有了算法，我们在实验室内进⾏了原理性验证。2017年回国后，我们开展了很多关键技术的攻关，包括如何在外场试验⾮视域成像，如何实现更⾼精度的，以及更远距离的⾮视域成像。从近期开始，我们也希望能够把这个技术进⼀步⼯程化、实⽤化。
再回到成像的场景，我们主要⽤三个⽅案来解决前⾯的三⽅⾯挑战：⻜⾏时间，单光⼦探测，成像算法。对于漫反射过程，我们重点探测光在空间的⻜⾏时间，通过光的⻜⾏时间乘以光速就能知道光的距离信息。这⾥我们重点探测的是第三次从隐藏⽬标回到墙⾯的⻜⾏时间。
通过这个⻜⾏时间，相当于我对隐藏⽬标进⾏时间维度的采样，不同隐藏场景回来的⽬标⻜⾏时间不⼀样，所以通过时间探测就可以对隐藏⽬标进⾏区分。
第⼆个问题，由于多次散射，回来的光⼦⾮常微弱，怎样进⾏探测？⾃然场景的光可能含有的光⼦⼤概在10的17次⽅到10的20次⽅这样的量级，真正到⼀个光⼦级别，它是⾮常⾮常微弱的，相当于是⼀个光最基本的单元。这就⽤到在量⼦科技⾥发展的⾼灵敏单光⼦探测技术，能够实现对每⼀个微弱到单光⼦级别的信号进⾏探测。
最后⼀个核⼼技术是成像算法，⽤于对复杂数据进⾏处理。为了实现⾮视域成像，其实我在扫描过程中进⾏了多个点的探测，每⼀个点的探测相当于对隐藏空间画⼀个圆球，把所有点的数据融合起来就相当于很多个圆球交叠在⼀起。成像算法想解决的问题是：能够反过来推算这个圆球的交点到底在哪⾥？这就是它的核⼼思路。
我们想做的是把实验的测量数据返回投影到隐藏空间，通过统计学⾥常⽤的⽐如说最⼤似然估计等相应的⽅法，对隐藏空间进⾏初步估计。同时再结合信号滤波技术，就能对隐藏场景进⾏精确图像重构。
为了能够更好地处理数据，⾸先是能够探测到⾼信噪⽐的数据，我们从2017年开始发展了很多相关关键技术的攻关。⾸先我们采⽤了⼀个近红外波段作为光源，它是⼈眼不可⻅的，重点采⽤的是1550纳⽶波段，在整个⼤⽓环境中它的透过率⾮常⾼。
此外我们也发展了很多⼩型化、⾼灵敏的单光⼦探测器；研发了⾼耦合效率、时域滤波等技术⽤于滤出噪声；同时对整个系统进⾏集成化和双轴扫描，最终能够满⾜外场应⽤环境的需求。
有了前⾯的算法和技术，我们就开展了很多实验的验证。给⼤家举的第⼀个例⼦在上海，我们把系统放到中国科⼤上海研究院，实验⽬标是对1.43公⾥外的⼀个⺠宅（叫林语溪⼩区）⾥的⼀个房间进⾏拍照。当然我们肯定不会偷窥别⼈家的隐私，所以在实验过程中是⾃⼰租了⼀个房间，把望远镜聚焦到那个房间。
通过望远镜或者说天⽂望远镜看过去，看到的只是⼀⾯⽩墙。我们想做的是能不能拍摄到躲在墙⾥⾯的隐藏场景，所以我放了⼀个⼈体模特。实验⾥能不能⽤⾮视域成像技术对模特的图像进⾏重构？
我们采⽤⼀个双轴望远镜发⼀束激光过去，通过⼀个1.43公⾥的链路到隐藏场景。光到达房间之后，它同样经过了可⻅的墙、隐藏的⼈、再到墙，返回来⼀个信号。因此我们看到的返回来的信号⼀个是从墙直接返回来的，还有⼀个是从隐藏⽬标返回来的，我们叫它第3次漫反射回来的信号。重点处理的就是这第3次漫反射信号。
刚才讲到，为了实现场景成像，要对墙⾯进⾏逐点扫描，不停地对场景进⾏空间维度上不同点的多次采样。经过多次采样后，信号都通过另⼀个望远镜送到我们的单光⼦探测器，对信号进⾏接收。有了这么多原始信号，就可以送到算法⾥进⾏处理。
⼤家看，这是我们在实验中得到的⼀个原始信号。隐隐约约可以看到⼀些光环，总体来看是⼀个三维数据。对于这个数据我们要进⾏实验处理。我们考虑了很多实际效果，同时结合算法，重点使⽤的是刚才讲到的反求解或者说凸优化的算法，最终把⼀个场景重构出来。
我们在实验中做了多种测试，包括⼀些字⺟、⼈体姿态以及各种各样的姿势。能够很清楚地看到，我们可以把⼈体的姿态测出来。这⾥给⼤家看的只是⼀些简单的场景，其实我们不仅能对简单的场景成像，同时也能对⼀些复杂的⾮视域场景进⾏成像。
这⾥测的是⼀个相对复杂的场景。图像中有圆环、⽯狮⼦、字⺟，后⾯还有⼀个书架。右边是真正实验中得到的原始数据，⼤家看到的是隐隐约约的，有⼀些东⻄隐藏在其中。仔细看⼀下在空间和时间维度它⻓什么样，其实不同场景回来的光，在时间轴上可以区分。⽐如这个圆环离得近⼀点，是先回来的光，最后是离我们最远的柜⼦回来的光的传播过程。把这样的原始数据再送到成像算法中，它的三维信息甚⾄字⺟的细节都能够很清楚地拍出来。
我们同时也可以实现更⾼精度的⾮视域成像。我们在近期实现了毫⽶级的⾮视域成像，这样就可以对⼀个A4纸打印出来的、⼤概4号⼤⼩的字体进⾏重构，⽐如这⾥展示的⼀些英⽂字⺟包括USTC、SCIENCE。总得来说，将来对⼀些隐藏场景中的⽂件，我们同样可以把它拍出来。
我们的成果也得到了国内外媒体的很多关注，包括《经济学⼈》（The Economist）以及《今⽇物理》（Physics Today）都很关注我们的⼀些相关成果。
⾮视域成像在国内外都是⼀个⾮常受关注的研究课题。⽐如早在2010年左右，麻省理⼯学院媒体实验室（MIT Media Lab）就⾸次实现了⾮视域成像的原理性验证。后⾯美国的斯坦福⼤学、波⼠顿⼤学还有卡内基·梅隆⼤学，以及英国的赫瑞-瓦特⼤学都在成像算法以及相关技术上取得了很多突破性成果。
同时，⾮视域成像也在2020年被《科学美国⼈》（Sciencific American）选为⼗⼤新兴技术，并且也得到了美国，例如美国国防部⾼级研究计划局（DARPA）等多个项⽬的⽀持。⽐如“通过主动光场技术⾰命性提⾼可⻅能⼒”（REVEAL）项⽬的⽀持，它重点⽤于⽀持通过主动光场来拓展⼈们成像视野的技术。
因此我们相信，随着技术的不断进步，⾮视域成像将会逐步⾛进千家万户。总结⼀下，成像艺术其实是⼀⻔古⽼⽽⼜全新的科学。最早从古代墨⼦的⼩孔成像开始，告诉我们光沿直线传播。之后伽利略发明了望远镜，⾸次告诉我们能够⽤科学⽅法去研究整个宇宙。到近代的⽣物成像⽐如显微成像、核磁共振，再到今天讲的⾮视域成像。相信未来随着技术的不断发展，我们能够创造出更多新的技术来服务⼤众、造福⼈类社会。
谢谢⼤家。转载内容仅代表作者观点，不代表中科院物理所⽴场，如需转载请联系原公众号，来源：格致论道讲坛，编辑：深浅。