上海交通大学在光子张量处理芯片方面取得进展

近日，上海交通大学电子信息与电气工程学院电子工程系邹卫文教授团队提出了光子学与计算科学交叉的创新思路，研制了实现高速张量卷积运算的新型光子张量处理芯片，相关成果以“High-order tensor flow processing using integrated photonic circuits”（基于集成光子芯片的高阶张量流式处理）为题发表在《自然·通讯》（Nature Communications）期刊上。

研究背景

多维数据堆叠构成的张量形式是数据处理的高效形式，有利于发掘数据中的内在结构特征，在雷达、通信、人工智能、生命科学等领域得到广泛应用。随着未来信息技术的发展，数据生成速度呈现爆炸式增长，海量数据的多维堆叠及其高效快速处理成为当前面临的重要科学挑战。为应对这一挑战，传统电学处理器通常采用通用化矩阵乘法(Generalized Matrix Multiplication, GeMM)策略将高阶张量运算转化成为矩阵乘法运算，将多级嵌套的循环运算转化为并行运算，通过提升计算核心数量来增大张量处理的整体速度。然而，GeMM策略依赖于数据的大量复制，需要额外内存占用以及内存与处理器间的反复通信开销，是提升多维数据张量运算速度的核心瓶颈之一。

创新成果

该研究创新提出了基于光子集成手段构建张量运算过程的学科交叉研究思路，既可发挥出光学的宽带高速特性将运算时钟频率提升至数十GHz，又可利用光学的多自由度直接表征张量数据的不同维度。该思路无需进行张量到矩阵的转换，可实现输入张量到输出张量的流式计算。

光子张量处理芯片的原理架构

基于这一创新思路，该团队设计并研制了一款光子张量处理芯片，综合利用了光学的波长、空间与时延三个自由度，在多通道图像上成功验证了时钟频率为20 GHz的高速张量卷积运算，芯片算力密度为588 GOPS/mm2，后续通过提升光子器件集成规模有望达到1 TOPS/mm2以上。研究团队利用该芯片构建了用于视频动作识别的卷积神经网络，网络中的卷积层在光子张量处理芯片上完成，最终在KTH视频数据集上实现了97.9%的识别准确率，接近理想识别准确率98.9%。本研究成果表明光子集成芯片可以在超高时钟频率下实现张量流式处理，解决额外内存占用与访存问题，为构建高性能计算、宽带信号处理等先进信息系统提供了新技术途径。

光子张量处理芯片

多通道图像卷积计算结果

相关成果

邹卫文教授团队前期在光子学与计算科学方向上开展深入研究，已形成的光电融合处理原理与光电混合集成方法为光子张量处理芯片的成功研制提供了重要基础。近期在光子计算核心原理、创新架构和先进应用验证等方面开展了系列研究，发表Opt. Express 2022, 30(23): 42057、Opt. Lett. 2022, 47(24): 6409等成果。相关研究还推动了光微梳集成处理单元（Microcomb-based integrated photonic processing unit）工作顺利开展（该工作由北京大学王兴军教授团队牵头，邹卫文教授团队参与），相关研究成果也被《自然·通讯》期刊接收发表，Nature Communications volume 14, Article number: 66 (2023)。

上海交通大学为该项研究的独立完成单位，电子工程系智能微波光波融合创新中心助理教授徐绍夫、博士研究生王静为共同第一作者，邹卫文教授为唯一通讯作者。

该研究工作获得国家自然科学基金交叉学部杰青项目（T2225023）、青年基金项目（62205203）和国家重点研发计划项目（2019YFB2203700）支持。

论文链接：https://www.nature.com/articles/s41467-022-35723-2