清华大学在感算一体全光机器视觉研究领域取得新进展

随着传感和计算模块在边缘基础设施的广泛部署，自然场景的高速感知、计算和重建至关重要。现有端侧视觉智能大多为感算分离范式，即通过传感器感知和采集光信号，转换为电信号后进行智能任务的计算。光和电之间的频繁转换，以及后摩尔时代电子计算性能发展趋势的减缓，制约了端侧智能处理的速度和带宽。

针对边缘系统面临的感算瓶颈，清华大学电子工程系方璐课题组提出了面向自然场景的感算一体全光智能计算架构，研制了并行化全光感算阵列芯片（optical parallel computational arraychip,OPCAchip），突破了非相干光场矩阵计算的难题，摒弃了“光感知-电计算”的感算分离范式，以“光入-光出”端到端的计算实现全光机器视觉，将非相干光场智能处理的速度提升至纳秒量级，支持每秒千亿像素规模的自然光场处理。

课题组刻画了自然场景光信号与片上光场的调制关系，提出了非相干-相干全光乘加算子，建立了空谱域多维全光神经网络，突破了非相干光场智能感算难题，提出了全光片上谐振神经元模型，研制了全光感算一体阵列芯片OPCA，支撑自然场景光场信号的并行感知与高速计算。在此基础上，课题组构建了多波长全光神经网络，将感知、计算和重建融为一体，实现了端到端的全光编解码和光场重建任务，在纳秒时间尺度上可完成对自然场景的端到端重建。在视觉智能分类任务上，OPCA芯片实测响应时间为6.0纳秒、视觉处理带宽达THz即每秒可处理千亿像素规模，相比传统相机采集、存储、智能处理这一感算分离系统（响应时间大多为毫秒量级、每秒处理亿像素），速度提升6个数量级，带宽提升2～3个数量级。

以OPCA芯片为代表的感算一体全光机器视觉，标志着智能光计算技术向端侧应用领域的发展迈出了重要的一步。该芯片未来将与大规模智能光计算芯片集成，突破光电/电光转换带来的速度和功耗桎梏，实现从光感知到光处理的端到端全光智能感算。凭借其高速度、高带宽的感算特性，有望为自动驾驶、工业检测、智能机器人、VR/AR等领域带来性能的颠覆性突破，应用前景广阔。

近日，相关研究成果以“并行光子芯片实现纳秒级端到端图像处理、传输和重建”（Parallel photonic chip for nano-second end-to-end image processing, transmission, and reconstruction）为题，发表在《光学》（Optica）杂志上。

清华大学电子工程系为论文第一单位，电子工程系副教授方璐为论文通讯作者，电子工程系2020级博士生吴蔚、博士后周天贶（水木学者）为论文第一作者。研究得到科技部2030重大项目、国家自然科学基金委、中国科协、中国博士后基金、清华大学-之江实验室联合研究中心等的支持。

论文链接：https://doi.org/10.1364/OPTICA.516241