螳螂眼睛有望促成更好的机器视觉

弗吉尼亚大学研究人员借助 和边缘计算模仿自然界

自动驾驶汽车偶尔会发生撞车事故，因为它们的视觉系统无法一直处理三维空间中静态或移动缓慢的物体。自动驾驶汽车的视觉系统就像单眼视觉的昆虫，复眼具有很强的运动追踪能力和宽阔的视野，但深度感知却很差。

螳螂是个例外。它的左右眼视野重叠，形成了具有三维空间深度感知的双眼视觉。

目前，弗吉尼亚大学工程与应用科学学院的研究人员利用这些见解，开发出了比当今视觉系统工作得更快、更准确的人工复眼。

对应论文题为“用于三维空间时空感知的立体人工复眼”（Stereoscopic artificial compound eyes for spatiotemporal perception in three-dimensional space），于2024年5月15日发表在《科学·机器人学》（Science Robotics）上。

charles L. Brown电气与计算机工程系博士生Byungjoon Bae表示：“在研究了螳螂眼睛的工作原理后，我们意识到，要想使仿生系统复制螳螂的生物能力，就必须开发新技术。”

研究团队集成了微透镜和多个InGaAs光电二极管，它们能在光照下产生电流。柔性半导体材料模拟了螳螂眼睛的凸型和切面位置。

研究团队利用外延剥离技术在柔性衬底上制造出薄膜InGaAs光电二极管。然后将这些光电二极管与HfO₂电阻式随机存取存储器（ReRAM）单元配对，在柔性Kapton衬底上制造出基于一个光电二极管一个电阻器（1P-1R）的焦平面阵列（FPA）。

这种配置使得光电二极管接收到的光信号可供调制，从而有效模拟节肢动物视觉系统中的色素细胞和受体。

随后，每个像素都与基于聚甲基丙烯酸甲酯的微透镜阵列相结合，以提高聚焦能力。然后，将制成的焦平面阵列塑造成半径为20mm的半球形。

Byungjoon Bae表示：“在保持传感器功能的同时将其制成半球形是一项最先进的成就，由此传感器可具备宽阔的视野和卓越的深度感知。”

“该系统可实时进行精确的空间感知，对于与动态环境互动的应用而言至关重要。”

此类应用包括低功率汽车及无人机、自动驾驶汽车、机器人装配、监控及安全系统、智能家居设备。

Byungjoon Bae是《科学·机器人学》论文的第一作者，他的指导老师是同系副教授Kyusang Lee（还任职于材料科学与工程系）。

该团队对实验室原型系统的重要发现之一是，与传统视觉系统相比，该系统的功耗有望降低400多倍。

边缘计算的优势

Kyusang Lee的系统不使用云计算，而是可以实时处理视觉信息，几乎消除了数据传输和外部计算的时间及资源成本，同时最大限度减少了能源用量。

Byungjoon Bae表示：“这项工作的技术突破在于集成了柔性半导体材料、可在设备内保持精确角度的保形器件、传感器内置存储元件以及独特的后处理算法。”

关键在于传感器阵列能持续监控场景的变化，识别哪些像素发生了变化，并将这些信息编码成更小的数据集进行处理。

这一方法反映了昆虫如何通过视觉线索感知世界，区分不同场景的像素，从而理解运动和空间数据。例如，与其他昆虫还有人类一样，螳螂可以利用运动视差现象，即近处的物体似乎比远处的物体移动得更快，来快速处理视觉数据。只需一只眼睛就能达到这种效果，但仅靠运动视差还不足以实现准确的深度感知。

Kyusang Lee早期曾是薄膜半导体和智能传感器领域的研究员，他表示：“这些先进材料和算法的无缝融合实现了实时、高效和准确的三维时空感知。”

这项研究工作得到了美国国家科学基金会和美国空军科学研究办公室的支持。