一堵白墙也能监视人?如果一直盯着房间里空白的墙面,除了油漆的颜色,你很难获得更多有用的信息。但如今,一项新技术能“悄悄”地扫描同一墙面上肉眼察觉不到的阴影和反射,并在分析这些信息后,确定房间内的细节信息,包括房间内有多少人以及他们正在做什么。这项技术可以通过局部视图推断对应空间中的更多信息,因此可以用于暗中监视拐角中的活动,也可以用于监控刻意回避摄像头的人。
当人们在房间里走动时,他们的身体会挡住一部分可见光,从而向墙上投影出模糊且难以辨认的“软阴影”。人们身上颜色鲜艳的衣服还会向墙上投射暗淡的反射光。一般情况下,这些微弱的信号会被环境光的主要光源淹没。“如果我们能去掉环境光的信号,就会保留下摄像机的噪声和我们关心的微弱信号。”美国麻省理工学院(MIT)的研究生普拉富拉·夏尔马(Prafull Sharma)说道。
夏尔马和来自MIT的其他研究人员做了一项实验,他们在房间里的人们走动时拍摄房间的墙面,并将整个拍摄过程中获取的画面以取平均值的方式做了一次综合叠加。这样他们就可以将环境光(包括主要光源的光线、以及家具和其他静态物品的阴影)提取出来,因为在平均多帧图像的过程中,一直不变的环境光会被留下,而人物走动所造成的阴影会被去除。
随后,研究人员再反向从实时录像中去除掉这部分环境光,只呈现出人物移动时在墙上产生的影子。
接下来,夏尔马所在的团队设置了各式各样的室内场景和活动,并将摄像机对准了房间内的白墙。在摄像机的视野之外,有些人独自或结伴行走,还有一些人蹲着、跳着或挥舞着手臂。然后,研究团队将录像输入到机器学习模型中,并让模型学会哪些软阴影对应着哪种行为模式。
经过这种训练后,机器学习系统可以实时、自动地分析任意房间中对着白墙录下的视频,并以此推断房间中的人数和活动。在今年10月召开的2021年国际计算机视觉大会(ICCV)上,研究人员以口头报告的形式展示了这项研究的结果。
尽管这个系统无需校准房间即可运行,但当光线过于昏暗或者存在电视等闪烁光源时,它还是表现得比较糟糕。除此之外,它只能用于分析在此前的训练中已经涉及的群体规模和活动。
值得注意的是,它还需要高分辨率的摄像机,常规的数码相机会产生过多的背景噪音,而智能手机的相机则表现得更差。尽管这种方法依然存在局限性,但它凸显出了成像技术和机器学习是如何使原本不易察觉的信号被监测到的。夏尔马表示:“这是一次非常棒的科学发现,如此低强度的信号就能用来预测信息。这是肉眼完全无法做到的。”
这种白墙远不是第一个看起来很清白,却能泄露周围环境秘密的物体。
本尼特·塞弗斯(Bennett Cyphers)是非营利组织电子前沿基金会(Electronic Frontier Foundation)的技术专家,他说:“一般来说,这些手段被称为侧信道攻击,或侧信道监视。这时候,人们收集信息的方式跳出了常规模式,不再直接从信息源获取信息,而是以间接的途径得到看起来不可能获得的信息。”侧信道攻击可以利用一些极其不起眼的信号作为输入源。
2020年,研究人员利用各种有光泽的物体的反射(包括来自薯片包装袋的反射)重建房间内的图像。声音等振动源也可以产生大量的间接信息。例如,一个人在电脑前打字的声音可以用来判断他正在输入的文字。而且,计算机本身就可以起到麦克风的作用。在2019年的一项研究中,研究人员开发了一套软件,它能检测并分析声波让硬盘驱动器的磁头在磁盘上方发生偏移、进而产生电压信号的过程。
在搞清楚了声波、磁盘位置和磁盘能读取的电压信号之间的关系后,他们就能用磁盘有效地记录设备附近的声音。
科学家还开发出了基于地板的传感器,它们能检测脚步的振动、识别个人身份,甚至还能诊断他们是否患有某些疾病。这些技术大多需要依靠机器学习进行模式检测,这是人类智能无法做到的。随着高分辨率视听技术的发展,计算力的应用场景变得越来越多元化。现在,科学家能利用许多看起来很特殊的输入源训练机器学习系统,从此前很容易被忽视的线索中收集信息。
至少到目前为止,侧信道技术潜在的监视威胁似乎还没有让倡导保护隐私的人夜不能寐。美国斯坦福大学互联网观察实验室的研究员里亚纳·普费弗科恩(Riana Pfefferkorn)认为:“对于普通大众而言,根本无需担忧白墙攻击之类的各种复杂侧信道攻击技术。在目前的学术研究领域中,它们只是一种很酷的实验手法。要想在法律允许的情况下投入实际应用,应该还有很长的一段路要走。
”这些新技术“即便有可能在现实中应用,也是在非常遥远的未来。而且即便到那个时候,警察依然不能擅自闯入私人住宅,也不能在你家的窗户上安装摄像头。”塞弗斯同意这个观点并指出:“每个人都携带着智能手机,很多人的家中都有智能音箱,他们的汽车也都连着互联网。因此,一些企业不必利用类似白墙攻击的技术,就能收集到他们想要的信息。”
尽管目前来看,侧信道方法不太可能瞄准普通用户,但它们最终一定会在实际应用中找到自己的一席之地。塞弗斯说:“军方和情报机构总能为一切可以利用的监控手段找到特定的用途。” 夏尔马认为确实可能存在类似的用途,但他也指出一些无害的用途。例如,作为全自动行人探测系统的一部分,可以让车辆扫描空白墙面,从而监测视线不佳的区域(像停车场之类的地方)。
除此之外,一些研究侧信道技术的科学家表示,这些技术可以用于帮助老年人,比如检测跌倒等问题。夏尔马认为,如果他能收集到足够的数据来训练机器学习系统,就能用于检测跌倒。但是,他打趣道:“我拒绝为了收集数据在20个不同的房间里摔倒。”