我们知道,机器视觉的识别能力非常令人惊艳,它具有识别个体、人脸以及其他物体的超人类能力。 尽管在动作识别方面的绩效还比不上人类,但机器视觉已经能够识别各种不同类型的动作。 然而,机器视觉也是有一定的局限性的。当个体、人脸、物体被部分遮挡时,机器视觉的作用就很有限了。 就像人类一样,光线大幅度变暗的时候,机器的视觉会有一瞬间的“失明”。 但是,有一部分电磁频谱却并不会受到这种遮挡的限制。比如,无线电波并不会因为现在是白天还是黑夜而发生改变。无线电波能轻易地穿透墙壁,并能被人体传播和反射。 事实上,研究人员已经探索发现了各种方法,来利用Wi-Fi无线电信号来查看门后的东西。 当然,这些无线电视觉系统也是有缺点的。比如,分辨率很低、图像嘈杂、反射过多不集中,这些问题使得人们很难通过无线电视觉系统去理解正在发生的事情。 从这个角度来说,无线电图像和可见光图像具有互补的优缺点。因此,我们可能可以利用其中一种方法的优势,来克服另一种方法的缺点。 在可见光图像与无线电波图像之间建立关联 MIT的Tianhong Li团队已经找到了一种方法,能够用可见光图像来训练无线电视觉系统,帮助识别人类动作。这种新型的无线电视觉系统能够在可见光成像失败的情况下,看到个体的状况。 论文链接: Li及其团队表示:“我们引入了一个神经网络模型,可以在光线不足的条件下,穿透墙壁或者遮挡物,检测到人类的工作。” Li团队的方法有一个非常巧妙的小窍门。他们的基本思想就是利用可见光和无线电波,同时记录同一场景的视频图像。机器视觉系统已经能够从可见光图像中识别人类的行为。因此,下一步就是要在可见光图像与同一场景下的无线电波图像之间,建立关联。 在这个学习过程中,最困难的地方在于要对人类的运动进行识别,把人与周围环境区分开来。因此,Li及其团队引入了一个中间步骤,让机器产生一个简笔画模型,来还原人在场景中的动作,并输入到神经网络中。 Li及其团队表示,“通过将输入图像转换为基于棍状骨架的中介表征,我们的模型可以利用基于视觉和基于无线电频率的数据集进行训练,并能让这两种方法互惠互利,达到共赢的效果。” 通过这种方式,机器视觉系统既能利用可见光来识别动作,也能利用无线电波识别在黑暗中、或者在遮挡物后的相同的动作。 研究人员表示:“在可见光和看不见人(黑暗或被遮挡)这两种场景中,我们的模型能够达到同等级别的识别准确性。” 不会侵犯到个人隐私 这是一项非常有潜力、非常有趣的工作,尤其是在可见光成像失败的场景中,如光线过暗或者关门之后。 这项工作也还是有一些其他的应用问题,其中之一就是在可见光成像的场景中,人们本来就是能被看到的,而利用无线电来识别黑暗中或被遮挡的物体就涉及到隐私问题了。 不过不用紧张,无线电系统尚未达到可以识别人脸的分辨率。在不识别面孔的情况下,对人的动作进行识别,并不会引起对隐私被侵犯的恐惧。 Li及其团队认为:“我们可以将这种动作识别方法引入家庭生活,将其整合到智能家居系统中。” 比如,可以监控老年人的居所,以防万一发生摔倒之类的意外时,可以提醒采取适当的措施;而且,这种应用并不会对隐私造成太大风险。 |