受大脑启发的成像系统能“看穿”浓雾

布朗大学工程学院的研究人员开发出一种新型成像系统，能在浓雾、泥水等部分遮挡视线的环境中看见并追踪移动物体。它将动态视觉传感器——一种像素只报告亮度变化、不拍摄完整画面的相机——与脉冲神经网络计算模型结合起来，由后者重建传感器探测到的移动物体。该研究成果发表在《Advanced Science》上。

在实验室测试中，面对会让传统相机看不到目标的浑浊水体和飘动的雾，系统重建出的图像与隐藏目标的结构相似度最高达到96%，同时还能在目标移动时追踪其位置。

研究人员表示，这套受大脑启发的系统是首个端到端技术，既能对随机运动、被这种稠密散射介质遮住的物体成像，又能追踪它们。

端到端神经形态方法的概念视图

布朗大学工程学博士后研究员Ning Zhang说：“在雾里很难看清物体，是因为物体反射的光在到达我们的眼睛或相机镜头之前，就被雾散射掉了。这个项目要做的是，利用新型成像相机和受大脑启发的模型，把散射过程滤掉，重建出雾后面的景象。”

研究人员说，这套系统最终可能用于多种现实场景，包括自动驾驶汽车和其他自动交通工具、暴风雨或野火中的无人机搜救，甚至医学成像。

受大脑启发

为了开发这项技术，研究人员从人类视觉系统中获得了灵感。人类视觉系统处理图像的速度和效率都相当惊人。

视网膜并不像摄像机那样一次性采集完整画面，而主要对视野中的变化作出反应——边缘、运动和闪烁——再把这些信息传给大脑，由大脑随时间逐步重建出场景。当它感觉到变化时，会向大脑发送神经脉冲，大脑再用这些脉冲更新自己对世界的重建。

研究人员利用类似的架构，造出了一套能快速、高效处理图像的系统，而且在雾天或浑浊环境中比人眼更胜一筹。

系统首先依靠一个动态视觉传感器，它能探测视野中单个像素的光强变化。由于每个像素只有在看到的亮度变化超过设定阈值时才会触发，所以即使大量光线已被雾或其他散射介质散射，传感器仍能记录到移动物体。

又因为散射背景的变化比移动目标慢得多，传感器基本上会忽略雾，主要对与物体发生作用的光作出反应。但它记录的仍是一团无形的脉冲，这就需要脉冲神经网络登场了。

布朗大学工程学教授、该研究资深作者Arto Nurmikko说：“人眼很擅长探测运动，但相机，尤其是动态视觉传感器，在某些方面可以做得更好，比如它对近红外光敏感，而人眼看不到近红外光。它只捕捉移动物体的信息，这样就能有效滤掉一部分雾的影响，同时输出的相关信息以异步脉冲序列编码，很像生物视网膜获取数据的方式，再交给大脑视觉皮层理解。”

这项工作的关键创新，是一个模仿视觉皮层的神经形态计算模型：一个深度脉冲神经网络。它接收视觉传感器的数据，在几分之一秒内重建随机运动、通常难以识别的物体图像，同时追踪它们的轨迹。这个网络以脉冲作为基本信息单位来运行。

为了测试系统，研究人员把移动的字母数字字符和不同种类飞鸟的轮廓图像，投射穿过一个遮光的雾室或一箱浑浊的水。实验显示，这套系统能够成像并追踪那些标准相机系统或人眼识别不了的随机运动物体。

台式光学成像实验

这套系统还很省电。传感器本身只消耗几十毫瓦。脉冲网络只在稀疏脉冲上计算，而不处理密集帧，因此能耗只是传统神经网络的一小部分。

研究人员指出，这种方法也有局限。由于传感器只对变化作出反应，物体必须相对相机运动才能被看到；而且目前系统恢复的是物体轮廓，而不是完整的灰度图像。在极暗光线下，传感器灵敏度也会下降。

目前，团队正在研究用于弱光条件的光增强前端，也在探索深度分辨方法，以便把这项技术扩展到三维目标——例如测量光的传播时间，或者像双眼一样把两个事件相机配成一对。

Ning Zhang说：“只要周围介质的光散射是个严重问题，这项技术就可能派上用场——自动驾驶汽车、搜救无人机和水下导航只是几个例子。我们的目标是拓展人类感知的边界，提升安全、医疗以及更多领域的水平。”

相关链接：https://dx.doi.org/10.1002/advs.77082