有时候躺在床上望着墙发呆,会发现墙上有着奇怪的“斑块”。这些光斑也不像室内任何物体的影子,那到底是什么东西投过来的?2012年,一位计算机科学教授在休假时,对此感到十分好奇。他把“斑块”研究了一番,原来,这些“斑块”根本不是影子,而是窗外天台微弱的倒立成像。其实这个现象不难理解,它背后是非常简单的物理学知识——小孔成像。窗户充当了小孔,物体的光线穿过窗户,便形成墙上的倒像。
这些图像大多都很模糊,在光线充足的地方甚至接近无形,也难怪常常被人忽视。
这次经历却让安东尼奥·托拉尔巴(Antonio Torralba)发现,我们的眼前其实隐藏着很多视觉信息,而且这些信息是可以解读的。他和同事比尔·弗里曼(Bill Freeman)的一系列研究表明,计算机不仅能够还原窗外的景象,甚至还能“看到”墙角另一边的行人。
在日常生活中,那些携带视野之外景物的光线,不断照射到墙上或其他表面,并反射到我们的眼睛里。可为何人眼几乎看不到图像呢?原因在于太多光线向四面八方传播,图像因此被冲淡了。限制那些落在某一表面的光线,就能让图像变得可见。根据这个原理,我们可以制作出简易的针孔相机,因为针孔只能让特定的一组光线通过。缩小针孔的孔径,图像就会更加清晰。
窗户便是天然存在的“针孔”,但由于自身太大,景物被投射在墙上时非常模糊。如果用纸板遮挡窗户的一部分,缩小窗户的孔径,便能轻易看到窗外景观的倒立成像。虽然遮挡窗户的想法很好,执行起来却会受到很大的限制,因此不太可能解决实际的技术问题。那么,我们能直接从环境中提取不可见的视觉信息吗?当然能。研究人员指出,一些意外出现的遮光物体也能揭示周围环境。例如,当人走到窗户前,便会引起光线的变化。
通过对比变化前后的图像,就能得到窗外景物的真实面目了。
这是怎么做到的?其实那些被人遮挡住的光线,也携带着窗外景物的信息。理论上来说,提取这些信息并不困难。只要在遮挡前后拍摄照片,将两张照片中的光线数据相减即可。由于这些遮光物体具有类似针孔的作用,它们也被称作“反针孔”或“针脚”。可以这么理解:那些被遮挡住的光线,相当于通过了遮挡物形状的针孔。但是,要提取信息还有一道坎:两张照片过于相似。
还好研究人员已经找到解决办法,他们能处理照片的噪声,然后成功还原出窗外的部分景象。他们还指出,遮光的物体越小,图像越清晰,但噪声也会相应增加。
窗户前总有人来车往,考虑到这一点,这种技术的可行性就非常高了。更何况,无处不在的监控探头正时刻捕捉着光线的变化。只要获取一段监控视频,计算机就能揪出影像之外的秘密。要从环境中得到更多视觉信息,一些常见物体也能派上用场,例如角落和盆栽植物。
托拉尔巴去年开发出的新算法,便能实现“隔影识人”:隔着墙角拍摄的照片经过处理后,可以显示出在墙角另一边行走的路人。首先,他们在墙角地面拍摄“半影”,半影包含墙角物体的视觉信息。当墙角另一边的人移动时,会朝半影投射出光线,这些光线扫过相对于墙体的多个角度。这些细微的密度和颜色变化是裸眼不可见的,但是算法可以增强这些变化,继而还原图像。
今年6月,弗里曼等人通过植物叶子的投影,构建出隐藏场景的部分景象。在这项研究中,每片叶子都充当“针脚”,它们阻挡着不同的光线。将每片叶子的阴影和其余部分对比,研究人员就能找到缺失的一组光线,然后将图像拼凑起来。这种方法生成的图像更清晰,但前提是对周围的环境有足够的观察。算法中需要添加一系列关于外部世界的知识,例如盆栽植物的形状和噪声信号的处理,才能更好的锐化图像。
托拉尔巴指出,心理学研究表明人类并不擅长解读影子。也许原因之一在于,我们大部分的所见并非真正的影子,例如托拉尔巴看到的墙上斑块。而我们的眼睛,最后也放弃了解读它们。但计算机可以做到人类做不到的事。由托拉尔巴等人开发的非视线成像技术,能够实现转角透视,并推断出那些不直接可见的信息到底是什么。可以预料的是,它将得到军事和间谍人员的大力支持。
事实上,美国国防高级研究计划局(DARPA)已经在投资这种技术了。对于弗里曼来说,他一开始并不想研究具有上述用途的技术。然而他逐渐意识到,如果因噎废食的话,那么很难有所作为。就拿非视线成像来说,它也可以应用于无人驾驶、机器视觉、医学成像、天文、太空探索和搜救任务等。“即便是在军事中,技术的具体应用也有很大的跨度,它或许能救人一命,”弗里曼表示,“总体而言,清楚技术被用于何处是件好事。”