超越光子噪声极限的超灵敏荧光成像

近日，清华大学自动化系、清华大学脑与认知科学研究院、清华-IDG/麦戈文脑科学研究院戴琼海课题组提出一套实时荧光成像去噪架构（DeepCAD-RT），将此前开发的基于自监督学习的智能图像去噪方法进行了深度的整合和优化，通过将模型预测过程融合到成像流程中，在双光子荧光显微镜上实现了实时的（30Hz）荧光成像去噪。借助此方法，在使用显微系统对生物样本进行荧光成像时，研究人员就能够实时地得到增强之后的图像，将成像所需的荧光光子的数目缩减10倍以上，实现了超越光子噪声极限的实时超灵敏荧光成像。该方法被应用于小鼠、斑马鱼、果蝇等多种模式动物的神经钙成像实验，观测范围涵盖细胞体、神经纤维、树突棘等多个尺度。此方法还被应用于观测免疫细胞在急性脑损伤之后的三维迁移过程，以及大脑皮层中胞外信使ATP（腺嘌呤核苷三磷酸）在损伤点位周围的发放过程，在国际上首次做到对ATP发放过程的长时程（1小时）三维（350×350×60 μm3）观测，并给出了关于发放位置、时间、发放点位的三维形状等量化特征的完整统计结论。

图1. DeepCAD-RT实时超灵敏荧光成像框架

荧光显微镜是生命科学不可或缺的研究工具。荧光成像的一个基本挑战是光子探测不可避免的随机性导致的光子散粒噪声，这是由光的量子本质决定的。从根本上说，所有测量过程都服从量子力学定律，最直接的表现就是任何测量过程都存在精度的上限，光学成像领域的这个极限被称为光子噪声极限，光子噪声是前沿科学观测中绕不开的障碍。在理论上，光子噪声极限规定了成像信噪比的上界；在实践上，固有的光子噪声会增加测量的不确定性，降低图像质量，并限制成像的分辨率、速度和灵敏度等各个方面。

为了解决固有的光子噪声给成像带来的一系列难题，戴琼海院士团队继2021年在《自然·方法》（Nature Methods）期刊上发文首次提出针对神经钙成像的自监督去噪基础架构后，进一步从网络结构和硬件部署两个方面对该方法进行了全面的整合优化，在有效提升去噪性能和可靠性的同时，将模型体量压缩16倍，内存消耗降低27倍，处理时间缩减20倍，并设计多线程最优调度方法实现和显微镜硬件系统的融合，最终在双光子显微镜上实现了实时去噪。除了在模型预测阶段的提升之外，该工作在训练阶段也进行了多方面的提升：通过设计12倍数据增广来有效降低训练过程的数据依赖性，仅需1000帧时序图像就能训练出性能优越的模型；模型缩减和数据增广共同作用消除了过拟合，有效提升了方法的准确性和可靠性。同时，其自监督的内核赋予该方法从原始数据中学习清晰图像的能力，即使网络没见过任何高信噪比或者清晰的图像，仅从原始的低信噪比图像中就能学出真实的信号，解决了活体成像中由于样本得到高速动态特性导致的真值缺失问题。该工作通过丰富的生命科学实验，论证了其超越光子噪声极限的超灵敏成像能力。

图2. 实时超灵敏荧光成像方法在多种模式动物、多种生命现象上的应用