基于超快卷积神经网络的无记忆散射成像

空间光调制器是一种可以在外部信号的控制下实时对入射光的振幅、相位及偏振态进行调制的动态元器件。将空间光调制器应用在散射成像领域，既可以用来替代传统的毛玻璃来产生赝热光场，也可以用做目标物体进行散射成像的研究，空间光调制器的应用，对散射光场调控实现了主动性和可操作性。

论文信息

[attachment=131438]
光学记忆效应在复杂散射介质中，包括浑浊组织和斑点层，一直是宏观和微观成像方法的关键基础。然而，在没有光学记忆效应的强散射介质中实现图像重建尚未成功。为此，本文通过开发一种多级卷积光神经网络（ONN），该网络集成了多个以光速运行的并行核，展示了在无光学记忆效应的散射层中进行图像重建的能力。基于傅里叶光学、并行、一步卷积ONN训练，直接提取特征，实现了无记忆图像重建，视场扩大了高达271倍。该设备可动态重新配置，用于超快多任务图像重建，计算能力达到每秒1.57peta操作（POPS），成功建立了一个超快速且高效的图形处理光学机器学习平台。

部分实验过程及实验结果

卷积ONN的实验设置如图1所示。实验中使用反射式强度型调制器SLM0（我司型号FSLM-HD70-A/P，像素大小8μm，1920×1080）来生成卷积ONN的可编程像素级输入。然后，由SLM0调制的光场通过一个4f系统被传递到卷积ONN的输入平面上。4f系统由两个焦距分别为100 mm（L1）和50 mm（L2）的镜头组成，用于为编码成SLM0的物体提供0.5倍的放大倍数。然后，将输入平面发送到三层卷积ONN中进行进一步处理。卷积ONN由三个相位型调制器SLMs（我司型号FSLM-4K70-P02）组成，相位型SLMs有4094×2400像素，像素大小为3.74μm×3.74μm。第一个卷积层被编码为SLM1，输入平面与SLM1之间的距离为10cm。经过SLM1调制后，光束通过分束器BS2和BS3的反射传输到SLM2。第二个卷积层被编码成SLM2，以及SLM1和SLM2是20cm。然后，将由SLM2调制的光束传输到SLM3。第三个全连接层被编码到SLM3中，SLM2与SLM3之间的距离为10 cm。由SLM3调制的光束通过分束器BS4的反射传播到卷积ONN的输出平面上，SLM3与输出平面之间的距离为20cm。采集相机（像素大小4.8μm，1280×1024）放置在卷积ONN的输出平面上，记录推理结果。需要注意的是，卷积ONN的不同层之间的不对齐会显著降低其性能。
[attachment=131439]
图1 三层卷积网络ONN的实验装置示意图。(A)卷积ONN的每一层的参数和坐标。(B)卷积ONN的实验装置。M，反射镜；POL，线性偏振器；BS，分束器；L，透镜；SLM，空间光调制器。
[attachment=131440]
图2 通过散射层堆叠实现无记忆图像重建的机制。(A)通过多个散射片的散射示意图。每个散射片可以建模为一个薄的散射层，N表示散射片的数量，d表示散射片之间的间距。(B)不同散射情况下生成的斑点图案。左侧图比较了光学记忆效应（N = 1，d = 0）和无光学记忆效应（N > 1，d > 0）的斑点。右侧图展示了每种情况下的角相关曲线，虚直线表示单个平面玻璃层的角相关曲线。这些曲线的半高宽决定了成像的视场。(C)在三层卷积ONN中无记忆图像重建的概念。[attachment=131441]
图3 光学卷积神经网络原理。(A)三层卷积ONN由两层光学卷积层和一层光学全连接层组成。(B)第一卷积层的结构包含九种不同的核。每个核包括三种结构：涡旋相位、随机相位和光栅相位。(C)第二卷积层的相位结构分为3×3区域。每个区域的相位通过与第一卷积层相同的过程构建，从而产生81个核。(D)基于MNIST和FashionMNIST数据集的推理分类任务中训练的卷积ONN性能。上图展示了每种情况下的学习曲线。下图展示了卷积ONN输出平面上的实验分类结果，红色虚线方块表示为相应数字训练的检测器区域。
[attachment=131442]
图4 实验验证无记忆图像重建。(A)训练的具有两个散射层（N = 2）的卷积ONN的实验重建结果。第一行显示了物体的真实图像，第二至第四行分别对应d = 3 cm、d = 4 cm和d = 5 cm的重建结果。(B)训练的具有多个散射层（N > 2）的卷积ONN的实验重建结果。第一至第四行分别对应N = 2、3、4和5的情况。(C)展示了涡旋相位对卷积ONN的影响。右侧图比较了在散射情况d = 5 cm下，有无涡旋相位的卷积核曲线和重建结果。左侧图表明，不同的涡旋相位结构可用于提取输入物体的不同方向边缘信息。
[attachment=131443]
图5可训练卷积ONN的动态和多任务性能演示。(A)使用卷积ONN进行无记忆图像重建的动态推理过程（S1和S2)。输入斑点图案加载到60Hz的SLM上。(B)在S3中展示了两个任务的卷积ONN框架，用于视频帧多任务推理以实现无记忆图像重建，第三层全连接光栅的轮廓见图S17。本实验中所采用振幅型空间光调制器的参数规格如下：

[attachment=131444]

型号 j\^CV?}sm'	FSLM-2K70-A02 ,wAF:7'	调制类型 J{fH['tzO	振幅兼相位型 9m~p0ILh
液晶类型 `&ckZiq	反射式	灰度等级	8位，256阶 n8ZZ#}Nhg
分辨率 1NA.nw.	1920×1080	像元大小	8μm
有效区域 %aVq+kC h	-4{<=y?"a 0.69" \n\|EM@=eE 15.36mm×8.64mm	填充因子	87%
PBTnIU 光学利用率	cB}D^O 61%@532nm fHd#u%63K 62%@635nm mSl.mi(JiZ 61%@808nm [j/9neaye 63%@1064nm pJ'"j 6Q UJ')I`zuI	fSvM(3Y<Qh 线性度	:(*V?WI 99% )cMh0SGcM1
_TQj~W< 刷新频率	dk4CpN 60Hz	Tqn@P 相位范围	Ig0VW)@ 1π@532nm
w-L=LWL\ 波长矫正	EaY?aAuS: 支持	>$/>#e~ Gamma校正	;RPx^X~ 支持
,w:U#r~s" 电源输入 HJ[cM6$2	XW)lDiJl 5V 3A 1JG'%8}#8	x@;m8z0 光谱范围	w;:*P 420nm-1100nm
损伤阈值	j[J-f@F \Y 2W/cm²	j@3Q;F0ba 对比度	ShP^A"Do 1000:1@532nm TpwkD_fg 1000:1@635nm czgO ;3-C 600:1@808nm 9`X\6s 100:1@1064nm [uN? ~lp\%
数据接口	DVI / HDMI	/ 2*l/3VW	/ h_3E)jc

本实验中所采用相位型空间光调制器的参数规格如下：

[attachment=131445]

*型号 [ =9TSp**	FSLM-4K70-P02 sW'AjI	调制类型 Y0dEH^I	相位型 ' ;FnIZ
液晶类型 W ]?G}Q;	反射式	灰度等级	8位，256阶 $$;M^WV^?.
像素数 vm7z,FfN	4094×2400 +RMSA^	像元大小	3.74μm
有效区域 jB Z&Ad@e	;LPfXpR 0.7" pis`$_kmwV 15.31mm×8.98mm	相位范围	2π@633nm 4ber!rJM
填充因子	90%	光学利用率	60%@532nm
配向角	0° g-</ua(j	衍射效率	g<;q.ZylT ＞97%@32阶 633nm
刷新频率 7<#U(,YEA	60Hz	光学利用率	35%@532nm ;dtA4:IRZ4
电源输入 l<LP&	12V 2A	响应时间 kY\|utoAP	bL+_j}{:N 上升10.8ms，下降18.5ms
损伤阈值 _~J {wM	2W/cm²	数据接口 S.94edQ	HDMI

写在最后
在计算成像领域，光学神经网络已经被广泛用于解决鬼成像、数字全息、傅里叶叠层显微等领域的问题。同时，深度学习强大的数据拟合能力和优化求解能力也在散射成像领域发挥着巨大的作用。随着空间光调制器的精细化调制和精准控制，空间光调制器与光学神经网络结合将会摩擦出更多的火花。

文章信息：
DOI: 10.1126/sciadv.adn2205

查看本帖完整版本: [-- 基于超快卷积神经网络的无记忆散射成像 --] [-- top --]