清华大学提出光谱成像芯片2.0，世界首款“物谱芯片”！
算力是智能时代最重要的基石和引擎，而视觉是人类和机器感知世界最重要的途径。“感算一体芯片”作为人工智能时代重要的基础模块，可以为手机、机器人、无人机等一系列小型化、便携化终端设备赋能感知与计算的强大能力。清华大学电子系黄翊东教授团队崔开宇课题组提出世界首款“物谱芯片”——光谱成像芯片2.0，即物质成像光谱卷积神经网络芯片，是面向复杂视觉任务的感算一体芯片，也是首个可以用含有物质光谱信息的自然光直接作为输入的光计算芯片，突破了现有光神经网络大多都难以落地到实际应用的困境，真正实现真实世界的复杂视觉计算任务。 E opb##o
随着大数据大模型对算力需求呈现远超摩尔定律增长的趋势,电子计算平台的能耗大且计算速度有限，严重限制了边缘设备上人工智能模型的发展。光神经网络具有计算速度快、并行性高、功耗低的明显优势，被认为是最有前途的下一代并行计算方案。然而受限于片上集成的规模问题以及对相干光源的依赖性，现有的光神经网络大多都难以落地到实际的应用场景中，只能用在图像边缘检测、手写数字识别等简单的任务上。 eCG{KCM~_Z
受生物视觉启发的卷积神经网络（Convolutional Neural Network，CNN），能够提取图像的高维特征并显著降低神经网络处理图像数据所需的参数量，在图像识别、分割、检测等机器视觉任务中得到广泛应用。崔开宇课题组提出新的感算一体式解决思路，即光谱卷积神经网络（Spectral convolutional neural network, SCNN），如图1所示，通过在图像传感器（CMOS imagesensor, CIS）表面大规模集成光谱调制结构，便能够在光谱维度实现向量内积的大规模并行计算。将集成了光谱调制结构的图像传感器视为输入层及第一卷积层，结合后续的小规模电计算卷积层，便能构成一个光电混合的神经网络。 (dHjf;
[attachment=131260] '>t'U?7w<
图1.现有的光神经网络（ONN）与论文提出的光谱卷积神经网络（SCNN）的对比 ^O&&QR H~w
制备的基于光谱卷积神经网络的物谱芯片如图2所示，分别采用了光学超表面以及色素作为光谱调制结构，制备了两款不同的物谱芯片，验证了光谱卷积神经网络框架的可行性。其中基于超表面的芯片具有更好的光谱调制能力，并且具有偏振、相位、入射角等全光场感知的潜力，而基于色素的芯片已实现了12吋晶圆的流片量产，具有更高的集成度和更低的加工制备成本。光谱卷积神经网络方案主要有三点优势：（1）基于图像传感器实现的光计算卷积层集成度大、功耗低，且可以直接感知自然光（包含两个空间维度和一个光谱维度的宽带非相干光），不依赖于相干光源；（2）光计算卷积层为感算一体式，即图像传感器完成拍摄的同时也完成了计算，能够在算力有限的边缘设备与移动终端上完成高维光谱图像的获取与处理，实现“物质超成像”（Mattermeta-imaging），摆脱GPU、不被卡脖子，让光谱成像的应用轻松下沉到终端；（3）光电混合的计算架构能够兼顾光计算高速、并行、低功耗的优势以及电计算的灵活性，充分利用图像传感器作为目前最高集成度的光电探测阵列芯片，让上百万像素、上亿像素相机的每一个像素点都可以计算。 wM! dz&
[attachment=131261] V2$M`|E
图2.分别采用光学超表面及色素实现的基于光谱卷积神经网络的物谱芯片 WLCr ~r^
为验证光谱卷积神经网络方案的有效性和灵活性，用同一个物谱芯片（3×3.5mm2）实现了病理诊断和人脸鉴伪两个完全不同的现实世界复杂任务，如图3所示。光谱信息可以反应物质的组成成分，且难以被伪造，利用光谱卷积神经网络感知计算得到的光谱信息，可以实现像素级的活体检测，并达到96.23%的准确率，进一步可以实现几乎100%的图像级人脸鉴伪准确率。在切片病理诊断上，不依赖于显微镜便能实现对正常甲状腺组织切片及四种病变（包括癌变）甲状腺组织切片的分辨，展现出了物谱芯片在术中病理实时诊断的应用潜力。 lF\2a&YRbn
[attachment=131262] /b410NP5
图3.用同一个物谱芯片实现了病理诊断和人脸鉴伪两个完全不同的现实世界复杂任务 4j<[3~:0
o
综上所述，物谱芯片，即物质成像光谱卷积神经网络芯片，能够直接处理自然图像，在百万至上亿像素的空间维度实现高度并行的内积运算，通过引入的连续光谱维度感知自然图像中包含的物质信息，即动态识别物质的组成成分并映射到特征空间中，实现全新“物质成像”的感算一体边缘计算(In-sensor Edge Computing)，为机器视觉、边缘计算终端设备赋能物质成像的全新功能，从而开启一个超越人眼的物质元成像（Matter Meta-Imaging, MMI）神经网络芯片的新范式。 }+K=>.
相关研究成果以“非相干光感算一体的光谱卷积神经网络芯片”（Spectral convolutional neural network chipfor in-sensor edge computing of incoherentnatural light）为题，于1月2日在线发表于《自然·通讯》（Nature Communications）。 < >V~
清华大学电子系微纳光电子学实验室与王生进、李亚利团队联合培养博士生饶世杰和崔开宇副教授为论文共同第一作者，崔开宇和黄翊东为论文通讯作者。研究得到国家重点研发计划、国家自然科学基金、北京量子信息前沿科学中心、北京量子信息科学研究院等的支持。 UtHloq(r
论文链接：https://doi.org/10.1038/s41467-024-55558-3
|