清华大学首创智能光计算终身学习架构

人工智能任务日益复杂、多样且动态变化，传统机器学习方法往往基于固定数据集训练任务，无法适应环境变化，如何使AI系统具备多任务持续学习的能力成为亟需解决的问题。近年来，随着摩尔定律的停滞，以衍射神经网络为代表的光学架构作为新的计算模态，在功能和效率方面展现出巨大潜力。然而，当前光网络仍普遍存在“灾难性遗忘”（catastrophic forgetting）的问题，学习新任务会失去先前任务的记忆。受人脑实现可持续学习的神经突触机制启发，基于光天然物理上的稀疏性和并行性，清华大学电子工程系方璐副教授团队首创了智能光计算终身学习架构，突破光网络单一功能限制，支撑类脑并行多任务学习。通过稀疏光连接及多光谱并行计算等关键模块，赋予光计算系统超越现有技术的功能、通量与能效，为智能系统在边缘硬件的多任务部署提供了光速解决方案。

目前的人工智能模型大多只能处理给定的任务，当环境发生变化便无能为力，距离人们需要的通用智能相差甚远。智能系统的可持续学习能力是AI领域发展的重要瓶颈，正受到广泛关注。反观人类本身，在不断成长的过程中，人脑可以终身学习并掌握各种技能。如何借鉴人脑的终身学习机制，挖掘大规模可持续进化的计算范式成为了极具挑战性的研究方向。然而，传统硅基电子计算芯片的算力和功耗严重受限，难以满足现实迫切所需的大规模高通量数据处理需求，因此探索新的计算技术和模态是未来智能系统发展的必然趋势。

近年来，以光计算为基础、通过光电融合的方式构建光电神经网络已成为国际前沿的热点研究。然而，虽然以衍射神经网络为代表的各式光网络不断涌现，但是现有的光电系统中的基本光学计算单元普遍受限于固化的结构与较低的扩展性，极大地限制了光本身的物理潜能和计算能力，导致当前光网络只能实现简单的单一任务，学习新任务时无法克服灾难性遗忘的问题。

针对上述问题，方璐团队提出了终身学习光计算架构L²ONN（Lifelong Learning Optical Neural Network）（图1），创新性实现了可持续学习的多任务智能系统。受益于大规模光连接中固有的稀疏性和并行性，光计算天然地模仿了人脑中神经元和突触的终身学习机制。通过自适应地激活相干光场中的稀疏光连接来学习每个任务，同时逐渐激活光计算来持续获得对各种任务的经验信息，多任务光学特征由分配有不同波长的多光谱表征并行处理。所提出光终身学习架构从理论上确保了光本身物理特性带来的可扩展性和通用性，构建了新型神经形态计算体系，赋予智能系统以光速计算的能力。

图片:46C085268D59002B5A0B92B66DE_24EAAB99_5B36F.png

图1.光终身学习框架示意图

为评估L2ONN的可持续学习能力，项目组在多个具有挑战性的数据集上进行了仿真验证（图2）。大量实验证实，L2ONN避免了普通光神经网络的灾难性遗忘问题，在多种数据（视觉分类、语音识别、医学诊断等）上完成多任务终身学习，其学习能力比普通光神经网络高出14倍以上。

图片:8432D1784E385F0A1EBE4AAB1BD_9B61AAD3_3E48C.png

图2.光终身学习架构在多项数据集下的增量学习结果

进一步，团队基于衍射计算模型实际制造了光终身学习芯片（图3），并利用其实现了持续学习和并行处理，完成了光学智能系统在边缘硬件的实际部署。最终结果表明，该芯片使用有限的计算资源，计算能效比典型的电神经网络高出一个数量级以上。

图片:E4FA5FB406D3AAB4468B60E11B5_A893D8BF_C6251.png

图3.光终身学习芯片原型系统、增量学习过程以及设计原理

研究提出的光计算终身学习架构展现了光计算非凡的学习能力。随着硅光芯片集成技术的发展，基于智能光计算终身学习架构的光芯片有效支撑多任务并行处理，为智能系统在边缘硬件的实际部署提供可持续学习的光速解决方案。该光计算架构以其在功能、通量、能效上的优势，有望显著提升人工智能系统的可扩展性和通用性，使机器智能拥有像人类一样对现实世界复杂任务的适应能力。

近日，该研究成果以“数十项任务终身学习的光子神经形态结构”（Photonic neuromorphic architecture for tens-of-task lifelong learning）为题，在线发表于《自然》（Nature）子刊《光：科学与应用》（Light：Science&Applications）。

清华大学电子工程系程远博士后为论文第一作者，方璐为论文通讯作者。研究得到国家自然科学基金委基础科学中心项目，科技部2030“新一代人工智能”重大项目，清华大学-之江实验室联合研究中心等的支持。

论文链接：https://doi.org/10.1038/s41377-024-01395-4