北大开发混合物理模型与深度学习的结构光超分辨重构算法

近年来，超分辨率荧光显微镜的发展极大地推动了人类对亚细胞结构的研究。其中，基于结构光照明的超分辨率荧光显微镜（SR-SIM）凭借其光子转化效率高等优点，非常适合活细胞的超分辨率成像。然而，北京大学陈良怡实验室2018年的工作提出，尽管结构光的光子转化成为超分辨的效率比其他类型的超分辨率显微镜更高，但是由于它存在的反卷积重建过程会放大图像中噪声产生伪影，从而影响超分辨率图像的可信度和定量化分析。在其提出利用时空连续性作为先验知识开发的基于海森正则化项的迭代重建方法后，其他许多研究组也开发了不同的抑制伪影的方法。已有的基于物理模型或通用先验知识的方法能够抑制噪声导致的伪影，但背景失焦引起的蜂窝状伪影、光照散射引起的伪影等不能完全抑制。而深度神经网络重建方法虽然能够更好地抑制重建超分辨率图像导致的各种伪影，但可能会产生局部失真和分辨率降低。

2023年1月，北京大学未来技术学院陈良怡教授团队结合了物理模型和深度学习两种重建方法的优点，通过利用全深度变分（TDV）网络作为重构目标函数的正则化项，将其与SIM物理模型相结合，提出了一种混合重建方法（TDV-SIM），能够在抑制伪影的同时保持分辨率。在处理不同细胞结构的图像时，TDV-SIM较单纯的深度学习方法能够更好地保留真实信号，同时比基于物理模型的方法能够更有效地去除伪影。相关工作以题为“Hybrid reconstruction of the physical model with the deep learning that improves structured illumination microscopy”（doi:10.1117/1.APN.2.1.016012）的论文发表于Advanced Photonics Nexus上。

研究团队将TDV-SIM与其他重建方法进行了比较，包括基于物理模型（Wiener 反卷积，HiFi-SIM，Hessian-SIM）和基于深度学习的方法（scU-Net，DFCAN）。在短曝光时候，研究人员观察活细胞中肌动蛋白丝、内质网以及线粒体等结构的动态变化发现，基于物理模型的降噪方法在低信噪比背景区域由于噪声放大仍然产生伪影。另一方面，虽然基于深度学习方法重建伪影较低，但它的分辨率和结构相似度值都会降低，同时常常在复杂结构如肌动蛋白和内质网的交叉点处以及线粒体内嵴处等地方产生不准确的推断，也就是常说的“幻觉效应”。这些问题可以被结合了物理模型约束的TDV-SIM很好地抑制。总体来说，TDV-SIM可以重构出更多的连续肌动蛋白丝，且伪影更少，其结构相似度值和分辨率与传统重建方法相当。

在深度学习盛行的今天，AI for science已经深入人心。尽管如此，团队的研究发现，纯数据驱动方法在预测不断变化的不规则和复杂样品结构时存在困难，在这种情况下考虑成像系统的物理模型约束变得至关重要。正如研究人员展示的：在面对结构复杂、动态的样品时，TDV-SIM方法较纯深度学习方法具有明显的优势。总的来说，TDV-SIM从混合重建的角度出发，为低信噪比图像的高分辨率高保真重建提供了一种新的解决方案。由于减少了成像时的光子剂量和相关的光毒性，提高了成像速度，延长了成像持续时间，TDV-SIM对于SR成像活细胞亚细胞结构动力学至关重要。

北京大学软件与微电子学院硕士生王建勇（已毕业）、重庆邮电大学计算机学院副教授范骏超、北京大学未来技术学院博士生周博为本文的共同第一作者。陈良怡和北京大学跨学部生物医学工程系黄小帅研究员为本文通讯作者。本研究得到国家科技重大专项计划、国家自然科学基金、北京市自然科学基金、临港实验室等经费支持。

相关链接：https://www.spiedigitallibrary.org/journals/advanced-photonics-nexus/volume-2/issue-01/016012/Hybrid-reconstruction-of-the-physical-model-with-the-deep-learning/10.1117/1.APN.2.1.016012.full

redplum	2023-02-22 00:28
太厉害

likaihit	2023-02-22 00:29
很好啊

tassy	2023-02-22 01:42
很厉害啊

tomryo	2023-02-22 07:00
北大开发混合物理模型与深度学习的结构光超分辨重构算法

星空38	2023-02-22 07:36
超分辨率荧光显微镜的发展极大地推动了人类对亚细胞结构的研究

希望之光	2023-02-22 08:02
超分辨率荧光显微镜为更好地观察亚细胞提供了保障

谭健	2023-02-22 08:17
太厉害

copland	2023-02-22 08:31
混合物理模型与深度学习的结构光超分辨重构算法

雨后无文	2023-02-22 08:37
牛蛙牛蛙

zeno	2023-02-22 08:52
^F5Q(A p([g/Q 北大开发混合物理模型与深度学习的结构光超分辨重构算法 fpj,~+ S4n~wo

mmttxiaoxiao	2023-02-22 08:55
新技术开发研究，需要注重实际应用

churuiwei	2023-02-22 09:06
超分辨率荧光显微镜的发展极大地推动了人类对亚细胞结构的研究

杨森	2023-02-22 09:10
本研究得到国家科技重大专项计划、国家自然科学基金、北京市自然科学基金、临港实验室等经费支持

blacksmith	2023-02-22 09:14
混合物理模型与深度学习的结构光超分辨重构算法

swy312	2023-02-22 09:50
总的来说，TDV-SIM从混合重建的角度出发，为低信噪比图像的高分辨率高保真重建提供了一种新的解决方案。由于减少了成像时的光子剂量和相关的光毒性，提高了成像速度，延长了成像持续时间，TDV-SIM对于SR成像活细胞亚细胞结构动力学至关重要。

曼曼阳加加油	2023-02-22 09:57
很好啊

sgsmta	2023-02-22 10:03
TDV-SIM方法

chengzheng	2023-02-22 10:13
很好啊

悠悠白云	2023-02-22 10:36
很好啊

wangjin001x	2023-02-22 11:23
北大开发混合物理模型与深度学习的结构光超分辨重构算法

宿命233	2023-02-22 11:54
厉害了北大开发混合物理模型与深度学习的结构光超分辨重构算法

phisfor	2023-02-22 12:23
北大开发混合物理模型与深度学习的结构光超分辨重构算

17796842390	2023-02-22 14:02
基于结构光照明的超分辨率荧光显微镜（SR-SIM）凭借其光子转化效率高等优点，非常适合活细胞的超分辨率成像

opticsg	2023-02-22 14:25
太猛了哥

咯咯哒	2023-02-22 17:46
厉害了

jeremiahchou

2023-02-22 20:11

研究团队将TDV-SIM与其他重建方法进行了比较，包括基于物理模型（Wiener 反卷积，HiFi-SIM，Hessian-SIM）和基于深度学习的方法（scU-Net，DFCAN）。在短曝光时候，研究人员观察活细胞中肌动蛋白丝、内质网以及线粒体等结构的动态变化发现，基于物理模型的降噪方法在低信噪比背景区域由于噪声放大仍然产生伪影。另一方面，虽然基于深度学习方法重建伪影较低，但它的分辨率和结构相似度值都会降低，同时常常在复杂结构如肌动蛋白和内质网的交叉点处以及线粒体内嵴处等地方产生不准确的推断，也就是常说的“幻觉效应”。这些问题可以被结合了物理模型约束的TDV-SIM很好地抑制。总体来说，TDV-SIM可以重构出更多的连续肌动蛋白丝，且伪影更少，其结构相似度值和分辨率与传统重建方法相当。

在深度学习盛行的今天，AI for science已经深入人心。尽管如此，团队的研究发现，纯数据驱动方法在预测不断变化的不规则和复杂样品结构时存在困难，在这种情况下考虑成像系统的物理模型约束变得至关重要。正如研究人员展示的：在面对结构复杂、动态的样品时，TDV-SIM方法较纯深度学习方法具有明显的优势。总的来说，TDV-SIM从混合重建的角度出发，为低信噪比图像的高分辨率高保真重建提供了一种新的解决方案。由于减少了成像时的光子剂量和相关的光毒性，提高了成像速度，延长了成像持续时间，TDV-SIM对于SR成像活细胞亚细胞结构动力学至关重要。

neverknow	2023-02-22 20:46
而深度神经网络重建方法虽然能够更好地抑制重建超分辨率图像导致的各种伪影，但可能会产生局部失真和分辨率降低

查看本帖完整版本: [-- 北大开发混合物理模型与深度学习的结构光超分辨重构算法 --] [-- top --]