窗户是AI和VR耳机的完美无镜头相机
相机曾经是他们自己的设备，带有镜头和胶片，然后去药店旅行以获取图片。然后，它们消失在手机，平板电脑，笔记本电脑和视频游戏机中。现在，看来相机有一天可能会像普通的玻璃窗格一样不显眼，就像您的汽车或家中的玻璃一样。
根据新的研究，美国的一个团队使用了一个简单的光电探测器，靠在窗户的边缘上，以检测玻璃内弹跳的反射，就像光信号通过光纤电缆传播，并使用一些巧妙的人工智能（AI）和计算机处理从它们创建图像。简而言之，玻璃的窗格就像巨型相机镜头一样。
窥视技术
尽管所产生的颗粒状图像不会很快与传统相机竞争，但它们可能是当今许多机器视觉程序应用程序的理想“相机”。例如，窗户或一块汽车挡风玻璃可以提供图像处理算法或神经网络可能需要做的所有编程的所有分辨率，例如轨道乘员的行为或手势，或其他任何解决方案。
人眼从未见过当今照相机捕获的大多数图像。它们仅通过从工厂地板或自动驾驶汽车图像传感器的算法处理安全摄像头提要或视频来看。人类从未见过的图像数量正在增加。
因此，梅农问：“如果机器要比人类更多地看这些图像和视频，那么我们为什么不考虑纯粹是为机器重新设计摄像机？完全将人类从循环中脱颖而出，并纯粹是从非人类角度看的摄像机。”
换句话说，计算机视觉算法并不总是需要辨别人眼的高分辨率和图像保真度。从Menon和他的合着者Ganghun Kim的“无镜头相机”拍摄的质量较低的图像中，可能仍会以较小的小工具足迹提取大量信息。
梅农（Menon）和金（Kim）的技术已经代表大学申请了专利，始于玻璃或塑料窗格。梅农说，视觉介质本身无需特别。他们使用了一张有机玻璃，因为它易于使用和切割。
为了制造新相机，他们将现成的640 x 480 Pixel 8位分辨率光电探测器连接到了它们平滑的塑料板的边缘，并准备将其与成像设备接口。然后，他们将反光胶带放在有机玻璃窗格的其余边缘。梅农说，他们可以在没有磁带的情况下进行成像，但是这个技巧提高了信噪比。
他们为此概念验证保持了简单的视野。他们设置在窗格前的物体是32 x 32 LED灯的阵列。然后，他们查看了到达光电探测器的信号时，当1,024灯单独照亮时。因此，至少在第一个近似值中，来自LED阵列的任何任意图像都将是来自每个已照亮的单个LED灯的信号的线性组合。
梅农说，对于这个项目，他们开发了传统的信号处理算法，这些算法可以从光电检测器收到的信号中重建图像。他们称此步骤为“反问题”，因为他们的算法正在采用复杂而混乱的信号，并将其向后驱动以发现可能生成其检测器检测器的光子的对象。
他说：“我们正在检测到与特定物体相对应的太空中的[光子]分布。”“作为人类，我们喜欢看到一对一的地图。这正是镜头所做的。在这里我们有一对一的地图。这就是为什么我们必须解决反问题的原因。”
这也是为什么这些窗玻璃摄像机特别适合依靠计算机视觉的程序的原因。图像质量和可解析的信息可能足以容纳计算机视觉，但还没有，也许永远不会，可以替换传统的基于镜头的摄像机以获取人类查看的图像。
梅农还说，他的团队现在正在开发一种机器学习算法来研究更复杂的图像，例如可以检测并转录为文本的笔迹。
梅农说，这项技术的第一个应用之一可能是在增强现实和虚拟现实眼镜和耳机中，无论是摄像机的添加，无论是进行眼镜跟踪还是拍照和视频，通常都会使它们更难制作，更笨重。
具有讽刺意味的是，突破可能以一种技术的形式出现，该技术从当今的最新状态下降低了质量的巨大降低。但是，梅农说，也许最实质性的飞跃可能是思考重新设计对AI和图像处理系统“足够好”的技术。因为就像苍蝇的眼睛一样，在人工智能世界中重要的不是单个数据源的高质量，而是数据源的扩散。
这就是为什么至少从机器视觉系统的角度来看，将来的相机和简单的玻璃窗格可能会越来越开始看起来更相似。
