事件导向CMOS图像传感器将用于激光雷达

据麦姆斯咨询报道，在快速发展的工厂自动化、物联网和自动驾驶车辆市场上，CMOS图像传感器似乎扮演的角色不再是人类消费品，而是让机器获取数据并让其理解世界的传感器。 -WE pBt7*  
8<0H(lj7_  
法国著名市场研究和技术分析机构Yole的MEMS & 成像部活动负责人Pierre Cambou这样评论道：“CMOS图像传感器的传感功能将逐渐超过本身的成像功能，”并大胆预测“到2030年，一半的CMOS图像传感器将服务于感知领域。” %Gl,V5z&  
35) ]R`f  
总部位于法国巴黎的Prophesee SA（原Chronocam）公司以革命领跑者自居。作为先进的神经视觉系统设计公司，提出了一种基于事件的方法进行传感和处理。Prophesee的仿生视觉技术一直被认为与传统机器视觉有实质性的差异，处于危险的“超前期”。但Prophesee联合创始人兼首席执行官Luca Verre告诉我们：“不久的将来，这种想法将被证实是错误的。” *y5d&4G2  
m
l.l( 6A  
_D1bR7  
在与Luca Verre面对面采访中，我们了解到Prophesee已获得B+轮融资（在过去三年中，Prophesee已募得4000万美元的资金）。Prophesee已与一家大型消费电子公司（未透露具体名字）签订了合作协议。最重要的是，Prophesee正在积极地把神经视觉系统从通常的技术概念中跳出，变成开发商的参考系统。 5oGnPF  
<d#9d.<  
Prophesee的第一款参考设计用在VGA分辨率应用，由Prophesee提供基于异步时间的图像传感器（Asynchronous Time-Based Image Sensor，以下简称ATIS）芯片和软件算法。ASIC将由以色列的代工合作伙伴（我们猜测很有可能是Tower Jazz）制造。 ^TVy:5Ag  
K_Y0;!W  
Prophesee暂时不愿提供ASIC和参考设计规范的详细说明。计划在未来几周内会正式发布该产品。尽管如此，参考设计能为系统设计者提供见证和经历ATIS在数据传感领域作用的机会，且已被事实证明，这家初创公司算得上完成了一个里程碑。ATIS的特点是瞬时清晰度高、数据率低、动态范围高、功耗低。 {F6h
x9?  
J
[2;&-@  
摄像头 = 瓶颈 D@^ r  
.=3Sm%  
机器视觉系统的制造者，不管是智能工厂、物联网，还是自动驾驶车辆都已经关注到基于事件的方法，这是由Prophesee的联合创始人Ryad Benosman和Christoph Posch大力推行的。 i cQsA  
vUS$DUF  
可以捕捉传统相机获取的所有详细视觉信息，Verre认为“摄像头成为技术瓶颈”。毫无疑问，摄像头是最强大的传感装置。然而，对于自动化系统、监控摄像机或高度自动化的车辆的视觉数据，摄像头的处理速度可能会减慢。 ppN96-]^0  
1m|Oi%i4  
但谈及自动驾驶，Verre认为车辆内部的中央处理系统被来自摄像头、激光雷达、雷达及其它视觉来源的数据所“轰炸”。管理这类过载的关键是如何最好地减少来自传感器的原始数据量。传感器只能捕捉数据，会带来额外的无用视觉信息。 TmH#  
f";70}_  
Prophesee曾向采访记者解释说，Prophesee的事件导向（event-driven）视觉传感器的灵感来自生物学。这种看法源于联合创始人对人类眼睛和大脑工作的研究。Prophesee的创始人之一Ryad Benosman告诉我们，人类的眼睛和大脑“不会基于一连串帧来记录视觉信息”。生物比你想象的更复杂，“人类会捕捉到时空变化里感兴趣的东西，并把这些信息有效地传送到大脑”。这也是Prophesee的ATIS的主要作用。 _jy*`$"q(  
DC]FY|ff  
总之，Prophesee的ATIS提供了基于框架的图像传感无法完成的一切功能。在另一个联合创始人Christoph Posch看来，“基于帧的方法会导致冗余的记录数据，从而引发高功耗。”他说，“这样的后果是低效的数据率和膨胀的存储量。基于帧的视频，以每秒30帧或60帧甚至更高的速率运行，会导致捕获的图像发生畸变。” 7`6n]4e  
0gm+R3;k^  
用于激光雷达（LiDAR）的事件导向方法 Yt++?  
$V]D7kDph*  
Verre向我们透露Prophesee正在探索采用事件导向（event-driven）方法用于其它传感器如激光雷达、雷达的可能性。Verre假设：“如果我们可以引导激光雷达只捕捉到其相关和必须的数据，会不会很吸引人？”如果能做到这一点，不仅可以加快数据采集，还可以减少需要处理的数据量。 {(o\G"\<XY  
@NlnZfMu  
Phrophesee目前正在评估这个想法，Verre说公司在得到结论前需要几个月时间评估。但他补充说：“我们很有信心，我们能成功”。当被我们问及拓展事件导向方法到其它传感器的新思路时，Yole的分析师Cambou认为“基于事件的摄像头与激光雷达的优势结合（提供‘Z’信息）,是一件非常有趣的事情。” [Rs5hO  
yb*SD!  
需要指出的是，传统激光雷达的问题是与典型的高端工业相机相比分辨率较低，受限于分辨率。Cambou认为事件导向的方法可以改善激光雷达性能，尤其是在事件快速接近，如行人突然出现在自动驾驶车辆前面时。缺点是激光雷达硬件必须做相应的改变，显然，对Phrophesee来说，需要一家激光雷达企业的强有力的支持，来促成这种新方法。 /(BQzCP9O;  
g (ZeGNV8  
Cambou说，“当然，这始终是技术型初创企业面临的问题。”他指出，Mobileye需要如沃尔沃和特斯拉这类领先汽车厂商（在技术将成为主流，需要越来越被广泛地被接受）；Movidius（已被英特尔收购），需要道琼斯指数为成功铺平道路。“Prophesee将需要一个强有力的合作伙伴来促进解决方案被大量采用。”Cambou说。 W>wIcUP<<  
?q7VB  
Cambou补充道：“考虑到机器人汽车领域的市场驱动因素（安全第一，技术驱动，非成本第一），这应该是可能的。”虽然Cambou表达了他对巨头（如谷歌）依靠技术型初创公司的担忧，他也表示这么小的市场用量不会带来太大的麻烦。 }KCXo/y