清华研发出无透镜光电神经网络

日前，清华大学的一支研究团队在《Light: Science & Applications》期刊上发表了应用于机器视觉的新型无透镜光电神经网络的最新论文，文中提出的无透镜光电神经网络在自动驾驶、智能家居、智能安防等实际场景中具有诸多的潜在应用。 U'8ub(:&  
52L* :|b  
"Y7 ]t:8  
近年来，由于现代图形处理单元（GPU）强大的处理能力和并行性的进步，基于卷积神经网络（CNN）的深度学习（deep learning）得到了迅速发展，为人工智能（AI）应用中的各种问题提供了有效的解决方案，如图像识别、物体分类、遥感、显微术、自然语言处理、全息、自动驾驶、智能家居等。然而，尽管计算能力呈指数级增长，但视觉处理中涉及的海量数据限制了CNN在现场处理数据的便携式、节能、计算效率高的硬件上的应用。 7z?rx  
b3,&R
UF  
为了克服电子神经网络的挑战，人们已经在光学计算领域进行了一些研究。光学计算有许多吸引人的优点，例如光学并行性可以极大地提高计算速度，而光学无源性可以降低能耗并最小化延迟。 c_33.i"I}  
)^ky @V  
光学神经网络（ONN）提供了一种提高计算速度和克服电子元件带宽瓶颈的方法。ONN可分为衍射神经网络（DNN）、相干神经网络或尖峰神经突触网络。最近，用于机器视觉的无源ONN方案已经被提出，它可以执行全光推理和分类任务。由于其并行性和低能耗，ONN已成为电子神经网络的替代品。然而，之前开发的ONN需要相干激光器作为计算光源，这在自然光场景中很难与成熟的机器视觉系统相结合。 G\S>H  
{m&8Viq1  
为了进一步提高机器视觉任务的推理能力，人们提出了前端为光学、后端为电子的光电混合神经网络。基于透镜的光学架构主要完成传统成像或执行一些网络计算功能，例如基于傅里叶变换理论的卷积计算。这些基于透镜的系统增加了其在自动驾驶车辆等边缘设备中的使用难度。同时，图像采集和图像信号处理仍占光电混合神经网络任务总能耗的主要部分。事实上，所有边缘设备都将受益于更精简的系统，从而减少尺寸、重量和功耗。 yM8<)6=  
 A`D^}F6  
J6)&b7  
在本论文中，作者们提出了一种用于机器视觉的新型无透镜光电神经网络架构。该架构通过面向任务的神经网络设计优化了无源光学掩模，使用无透镜架构进行光学卷积计算，减少了器件尺寸和所需计算量。他们展示了系统使用多卷积核掩模的手写数字分类任务的性能，其准确率高达97.21%。此外，他们优化了一个大型卷积核掩模来执行用于隐私保护的人脸识别的光学加密，从而获得了与无加密方法相同的识别精度。与随机最大长度序列（MLS）模式相比，提出方法的识别准确率提高了6%以上。 );cu{GY  
O+o4E?}  
>^  E  
该论文提出的无透镜光电神经网络为将小尺寸、智能化和低能耗的新型解决方案应用于智能设备的视觉任务奠定了基础。 P9RIX;A=  
5G-}'-
R  
这项研究工作得到了国家自然科学基金（62135009）和国家重点研发计划（2019YFB1803500）的资助。 N`DLIv8i;  
r:&"#F   
相关链接：https://doi.org/10.1038/s41377-022-00809-5