高分辨率“透视”系统问世！斯坦福团队用普通器件解决光学难题
“这些属性可以支持一些原本不可能运行的应用程序，比如在行驶时读取隐藏的非视距的车牌，或者读取在拐角另一侧的行人身上戴的工作牌。”论文一作、斯坦福大学博士后研究员 Christopher Metzler 说。 -pW nO9q
Y)X
'hk)5|
[attachment=98218] v' x)AbbC
图 | 该系统可能有一天会让自动驾驶汽车有更犀利的视觉，不仅能看到车辆，还能读取车牌（来源：Felix Heide, Princeton University） <W,M?r+
近日，由他带领的来自斯坦福大学、普林斯顿大学等四所大学组成的研究团队在 optica 发表了一项研究成果，称其利用深度学习算法，开发了一种新的基于激光的系统，只需搭配普通相机和一个功能强大的标准激光源，该系统就可以实现快速高分辨率对隐藏物体进行成像。 'X()|{
s~A#B)wB
通过深度学习算法，利用普通的市售器件就能解决复杂的光学难题，这将对自动驾驶等领域产生极大的影响。有报道称，它或许可以被安装在卫星和航天器上，用来捕捉小行星上洞穴内的图像。 Ch3{q/-g
?CaMn b8
[attachment=98217] =dVPx<l5
图 | 实验设置。光从激光器，到虚拟光源，到隐藏的物体，到虚拟探测器，最后到相机（来源：论文） 6 WD(
论文作者在文中表述，他们验证了基于 deep-inverse correlography 的算法对噪声具有非常强的鲁棒性，在空间分辨率和总捕获时间方面都远远超过了现有 NLoS（non-line-of-sight，非视距）系统的能力。 5>E]C=maD
-vRZCIj!
Metzler 表示，此设备的设计初衷是用极高的分辨率对小物体进行成像，但它也可以与其他成像系统相结合，产生低分辨率、房间大小的重建图像。 zz4TJ ('
z>\vYR$
研究人员在试验中，利用距离墙壁约 1 米的成像装置，对隐藏在墙角后方的高 1 厘米的字母和数字进行了图像重建。在四分之一秒的曝光时间，新技术可以获得分辨率为 300 微米的重建图像。 )<]*!
X(sN +7DOV
[attachment=98216]
4
_*^~w
图 | 不同曝光时长的模拟和重建实验。由于该方法对噪声的鲁棒性更强，因此与依赖 HIO 或 Alt-Min 等传统 PR 算法的系统相比，基于卷积神经网络（ Convolutional neural networks,CNN） 的方法可以在更少的光线下运行，并获得更高的帧速率。（来源：论文） ,BUDo9h
此前，麻省理工学院计算机视觉科学家拉梅什 · 拉斯卡尔（Ramesh Raskar）采用“主动成像”（active imaging）的方法，使用昂贵的专业相机 - 激光系统，实现对拐角处场景的高分辨率成像，用纳米超高速相机探测从墙壁反弹回来的光子，从而实现三维图像细节的逆向重建。 9 -Y.8:A`
O
WJv<3
但需要重视的是，除了需要使用专业相机之外，这种方式必须用激光扫描整个墙壁才能形成三维图像，整个成像过程光设备就耗资 50 万美元。直到 2018 年 3 月，新的算法以及相对经济实惠的 SPAD 相机出现，才使得这种方式削减一部分成本。 D)XV{Wit
!=C74$TH
“2012 年以来，飞行时间成像技术（time-of-flight imaging）的主要进步体现在，原先需要百万美元建造的系统，现在只需要数千美元。”联合作者 Richard Baraniuk 说。 PrA?e{B5m
[8- . T4
[attachment=98215]
]W c:9Zb
图 | 在主动非视距成像中，激光在墙壁上反射到隐藏物体上并进一步散射，然后经过墙壁再次反射返回初始位置（来源：Stanford Computation Imaging Lab）
: h"Bf@3
飞行时间成像技术原理是，来自高速激光的光线从墙上反射到隐藏区域的物体上，其中一些光线会反射回墙壁再反射回相机，通过测量返回光子的飞行时间，可以判断飞行距离进行粗略成像。 *bi!iz5F
B=4xZJ Py
Deep-inverse correlography 则是寻找墙上的干涉图样，也就是所谓的散斑图（speckle pattern）。散斑图包含着隐藏物体的形状信息，但重建完整图案需要解决极具挑战性的算法问题。短时曝光可以实现实时成像，但是噪声很多，会严重干扰现有算法。因此，该团队才想到了利用深度学习算法。 /< OoZf+[
<{t*yMr
与其他 NLoS 成像方法相比，深度学习算法可以通过准确地描述噪声，合成数据训练算法来解决重建问题，而不需要昂贵的试验训练数据。 :\]TA Qd-
=jz*|e|V
[attachment=98214] y:C=Ni&,"
图 | 研究人员在试验中，利用距离墙壁约 1 米的成像装置，对隐藏在墙角后方的高 1 厘米的字母和数字进行了图像重建。使用四分之一秒的曝光时间，新技术可以获得分辨率为 300 微米的重建图像（来源：Rice University） {LwV&u(
联合作者 Ashok Veeraraghavan 说：“因此，我们正在讨论的是一个比飞行时间成像技术小得多的视野，这个视野接近几英寸而不是几米，但是，在这个有限的领域内，我们能够获得比它精确 100 倍的空间分辨率。” ,YEwz3$5u
cO&(&*J r
接下来，研究人员计划把飞行时间成像技术和 deep-inverse correlography 相结合。“通过飞行时间技术，你可以获得一张粗略的图像，显示人在哪里，一旦你定位到了他们的胸牌或者脸，之后可以利用这项技术再得到一个超高清的局部图像。” scXY~l]I*
@-L4<=$J
该技术属于 DARPA（美国国防高级研究计划局，Defense Advanced Research Projects Agency）“揭露计划”（REVEAL program）的一部分。该计划耗资 2700 万美元，旨在通过活跃光场的开发，革命性地提高能见度。该项目为许多美国新成立的实验室提供资金。 z5V~m_RO
s{"}!y=]
（来源：DeepTech深科技）
|