DARPA开始采用基于事件的智能红外相机技术
美国国防高级研究计划局(DARPA)近日宣布选择由雷神(Raytheon)公司、BAE系统公司和诺斯罗普格鲁曼(Northrop
Grumman)公司领导的三个研究小组,开发基于事件的(神经形态)红外(IR)相机技术。
该项目隶属DARPA“基于快速事件的神经形态相机和电子(Fast Event-based Neuromorphic Camera and Electronics, FENCE)”计划。基于事件的相机是一种新兴传感技术,相对于传统相机具有很多明显优势。这些先进的成像模组异步工作,只传输发生变化的像素信息。这意味着它们生成的数据量明显减少,工作延迟和功耗也大幅降低。
领导FENCE项目的Whitney Mason博士解释称:“神经形态指的是模拟大脑运作的硅基集成电路,它们可以提供低延迟、高能效的稀疏输出。在处理稀疏场景时,基于事件的相机也以一样的原理运行,但是,目前基于事件的相机缺乏更高级的‘智能’,无法应对更困难更复杂的感知和控制任务。”
目前,最先进的相机可以很好的应对极少变化、成像相对简单的场景。例如,一架飞机在湛蓝的天空中飞行。最先进的相机可以很容易地跟踪飞机的运动。然而,对于高度杂乱和动态的场景,它们就束手无策了,这限制了它们在许多军事领域的应用。
FENCE项目旨在开发并验证一种低延迟、低功耗、基于事件的红外焦平面阵列(FPA)以及新的数字信号处理和学习算法来解决上述难题,以使这类智能传感器能够处理更复杂的动态场景。雷神公司、BAE系统公司和诺斯罗普格鲁曼公司的团队将致力于开发一种低延迟的异步读出集成电路(ROIC),以及一种与ROIC集成以识别相关空间和时间信号的处理层。ROIC和处理层的结合,将使集成的FENCE传感器以低于1.5瓦的功率工作。
Mason指出:“我们的目标是开发一种‘智能’传感器,以智能化地降低由相机传输的数据量,只考量最相关的像素信息。”
FANCE技术最终可以应用于从自动驾驶、机器人到红外搜索和跟踪等许多军事应用。为了确保广泛的适用性,研究人员还将重点开发一款灵活且适应性强的解决方案,以便应对各种不同的任务。