盯着任何房间的空白墙壁,你不可能学到比油漆颜色更多的东西。但是一个新技术可以在不引人注目的情况下扫描同一表面,寻找人眼无法察觉的阴影和反射,然后分析它们来确定细节,包括房间里有多少人,以及他们在做什么。这个工具也许可以从一个空间的局部视图中推断出信息监视活动从拐角处或者监视避开摄像头视线的人。

当人们在房间里走动时,他们的身体会挡住一部分可用的光线,在墙上产生微妙而模糊的“柔和阴影”。色彩鲜艳的衣服甚至会反射出暗淡的光芒。但这些微弱的信号通常会被主要的环境光源所淹没。麻省理工学院的研究生Prafull Sharma说:“如果我们能做一些事情,比如从我们所观察到的任何东西中减去这个环境项,那么就只剩下相机噪声和信号了。”夏尔马和其他麻省理工学院的研究人员通过拍摄房间里的墙壁来隔离这种环境术语,他们拍摄的是房间里的人在走动时的画面,并在一段时间内平均这些画面。这样就消除了人类移动的阴影,只留下来自主要光源的光加上来自家具或其他固定物体的阴影。然后,研究人员从视频中实时删除这些特征,显示出墙上移动的阴影。

接下来,沙玛的团队记录了几个房间的空白墙壁,研究人员在这些房间中制定了各种场景和活动。人们在摄像机的视野之外四处走动,有的独自一人,有的成双成对。其他人蹲着、跳着或挥舞着手臂。然后,该团队将视频输入一个机器学习模型,教它哪些柔和的阴影模式表示哪种行为。由此产生的系统可以自动实时分析任何房间的空白墙壁的镜头,确定人数和他们的行为。的工作提出了在2021年10月的计算机视觉国际会议上。

尽管该系统可以在任何房间内不需要校准就能正常工作,但在昏暗的灯光下或在电视等闪烁光源的存在下,它的性能很差。它只能记录它受过训练的群体规模和活动,而且它需要一个高分辨率相机;标准的数码相机会产生太多的背景噪音,而智能手机相机的效果更糟。

尽管存在局限性,但该方法强调了成像和机器学习如何将难以察觉的指标转化为监控。夏尔马说:“如此低强度的信号可以用来预测信息,这是一个非常酷的科学发现。”“当然,正如我们所证实的,肉眼根本无法做到这一点。”

一堵空白的墙绝不是第一件暴露其周围环境秘密的看似无辜的物品。“一般来说,这些被称为侧通道攻击,或侧通道监视,”促进数字权利的非营利组织电子前沿基金会(Electronic Frontier Foundation)的技术人员班尼特·塞弗斯(Bennett Cyphers)说。“当你使用不是你直接寻找的信息来源时——这可能是正常收集信息的方式的框架之外——学习你似乎不可能学到的东西。”

侧通道攻击可以利用一些极其不起眼的输入。2020年,研究人员使用了来自各种闪亮物体的反射包括一包薯片-重建周围房间的图像。声音和其他振动也能产生大量的间接信息。例如,一个人的音频在电脑上打字可以显示正在写的字。计算机本身也可以充当麦克风:在2019年的一项研究中,研究人员开发了一种软件,可以检测和分析环境声波如何震动硬盘驱动器的磁盘读头,从而有效地记录在机器附近发生的对话。

科学家们还开发出了地面传感器,能够检测脚步震动识别个体的身份,甚至诊断他们患有某些疾病。这些技术大多依靠机器学习来检测人类智能无法检测到的模式。随着高分辨率的视听记录和计算能力越来越普及,研究人员可以用许多不同的输入训练系统,从经常被忽视的线索中收集信息。

至少到目前为止,监控的潜力似乎并没有让许多隐私倡导者夜不能寐。斯坦福互联网天文台的研究学者Riana Pfefferkorn说:“这种空白墙攻击,以及其他类似的复杂的侧通道攻击,对于普通人来说根本不应该担心。”“它们是学术研究人员的很酷的技巧,但要被执法部门实施还有很长的路要走。”常规使用是“遥远的未来,如果有的话——即使到那时,警察仍然不能擅自闯入你的财产并在你的窗户上贴一个摄像头。”密码一致。他指出:“每个人都带着智能手机,很多人家里都有智能音箱,他们的汽车也连上了互联网。”“公司和政府通常不必求助于空白墙壁的镜头之类的东西来收集他们想要的那种信息。”

尽管目前侧通道方法不太可能针对普通人,但它们最终可能会在现实世界中找到应用的途径。赛弗斯说:“军方和情报机构总是对他们能得到的任何种类的监视都有特定的用途。”沙玛同意这样的应用是可能的,但他也建议一些更无害的应用:例如,车辆可以扫描空白的墙壁,作为自动行人检测系统的一部分,用于视线较差的区域,如停车场。一些研究侧通道技术的研究人员表示,他们可以用来监测老年人,检测跌倒或其他问题。

沙玛说,如果他收集了足够的例子来训练他的系统,那么他自己的系统将能够进行跌倒检测。但是,他打趣道:“我拒绝在20个不同的房间里跌倒来收集数据。”