我国实现全脑光学接口虚拟现实和全脑闭环研究新范式

3月11日，中国科学院脑科学与智能技术卓越中心杜久林研究组、穆宇研究组，联合自动化研究所蒿杰研究组，在《自然·神经科学》上在线发表了题为《实时分析大规模神经成像，实现神经动态的闭环研究》的研究论文。相关成果已被授权发明专利“光学脑机接口系统和方法”。

该研究借助天文学领域的数据处理技术，采用FPGA-GPU混合架构，对高达500MB/s的大数据流神经功能数据进行实时配准、信号提取和分析。通过这一技术突破，该团队首次实现了对斑马鱼全脑十万级神经元的实时监控与分析，进而对任意选择的神经元集群活动进行解码，以控制外部设备。这一成果标志着基于全脑单细胞光学成像的虚拟现实、光遗传调控等技术在脑科学闭环研究中的应用迈出了关键一步。

全脑单神经元活动成像是解析大脑并行分布式计算原理的工具，但巨大的数据处理需求成为难以逾越的技术瓶颈，导致难以实时分析以及在大尺度上闭环调控和研究脑功能。受天文学领域中快速射电暴检测技术的启发，科研人员借鉴FX系统设计策略，利用FPGA编程的灵活性建立光学神经信号预处理系统，对来自光学传感器的信号规整化，并将其发送给基于GPU的实时处理系统，进行高速非线性配准，提取各信道的神经信号，依据编码规则进行解码，以获得用于控制外部器件的反馈信号。该系统通过实时监测斑马鱼全脑神经元的活动，生成反馈信号，且反馈间隔小于70.5毫秒。

左图展现这一创新系统如何将内在世界的神经活动与外部现实世界连接；右图展示利用该系统实施的光学脑机接口 技术，通过大脑内部神经元集群的活动实现虚拟现实控制。

系统性能在三个脑科学闭环研究场景下进行展示，即与任意特定神经元集群活动锁相的实时光遗传学刺激，与特定大脑功能状态锁相的实时视觉刺激，以及基于神经元集群活动的虚拟现实控制。

在闭环实时光遗传学神经调控方面，研究通过功能聚类识别全脑神经元集群，将选定集群的自发活动作为触发信号，实时实施光遗传学刺激于目标神经元集群。相对于开环，闭环刺激有效激活了下游脑区。

在锁相的实时视觉刺激实验方面，研究通过对蓝斑去甲肾上腺 素能系统活动的实时监测，在表征动物清醒状态的蓝斑兴奋时相上施加视觉刺激，观察到大脑中其他神经元的反应更强烈。研究表明，大脑状态可调节对视觉信息的处理，闭环感觉刺激有助于探究大脑内部状态与外界环境的相互作用。

在全脑光学脑机接口实现的虚拟现实方面，研究实时将高维的全脑所有神经元活动降维到多个神经元集群的活动，并将任一集群的活动与视觉环境闭环联接，建立基于光学成像、直接从脑神经元活动到视觉环境的虚拟现实系统。该虚拟现实中，可随意调整神经活动与环境耦合的增益，使控制环境的神经元集群根据增益变化适应性地调整其活动输出。未来，依托大数据流的实时分析和高通量全脑成像技术，科研人员将可以筛选出适合光学脑机接口的神经群体活动特征并揭示其机制，开发出更高效的光学脑机接口 技术。

研究工作得到科学技术部、国家自然科学基金委员会、中国科学院、上海市和深圳市的支持。

论文链接：https://www.nature.com/articles/s41593-024-01595-6