南昌大学在真实世界离焦场景增强方面实现突破

离焦模糊通常源于相机景深的限制。在当今数字化时代，图像质量对于各种应用场景至关重要，从医学影像到自动驾驶，从安防监控到移动摄影，都需要高质量的图像处理技术。然而，传统的图像增强方法在处理离焦模糊图像时往往效果有限。虽然深度学习方法在图像修复问题上展现出巨大潜力，但离焦去模糊需要包含清晰对焦和离焦图像对的训练数据，这在实际场景中很难收集。主流深度学习模型（如DnCNN）不仅需要成对的数据集进行训练，且在离焦增强的效果上存在明显缺陷，难以满足实际使用的需求。这些局限使得更高效、更精确的离焦增强技术成为亟待突破的难题，以获得更高清晰度的图像，执行后续视觉任务。

为突破上述瓶颈，近日，南昌大学信息工程学院的成像与视觉表示实验室研究团队提出了一种基于扩散模型的真实世界离焦增强方法。相关研究成果以“Real-World Defocus Deblurring via Score-Based Diffusion Models”为题发表于Scientific Reports。

研究创新点：

扩散模型将训练数据集的数据分布视为同一概率分布的采样结果，并利用神经网络拟合其概率分布，并从该分布中采样以生成符合分布的新样本。扩散可分为两个过程：正向和反向扩散过程。在前向过程中，通过逐步加入高斯噪声对数据进行扰动，将原始数据分布转换为一系列中间分布，最终得到一个简单的先验分布(一般为标准高斯分布)。反向过程中，通过逐步去除噪声，将先验分布转换为一系列中间分布最终获得近似于原始数据的分布，以实现从原始数据分布中采样的目的。 

图1.扩散模型的前向与后向过程

如图1所示，为了利用扩散模型学习目标的数据分布关系，通过正向过程对图像进行加噪，获得不同加噪水平的训练集，以此训练扩散模型学习图像在不同噪声水平中的数据分布。重建阶段，扩散模型利用学习到的不同噪声水平的数据分布关系，从高斯噪声逐步按照所学数据分布预测噪声，获得更低噪声水平的图像，最终生成出符合训练数据分布的目标图像。

然而，当图像的离焦程度较大时，基于清晰图像进行扩散模型训练，所获得的模型学习的先验信息不足以支撑该情况下的信号增强并重建出聚焦的图像。为此，该研究提出了核心目标：“使用离焦模糊的图片，利用先进的人工智能算法（扩散模型）实现真实世界中的离焦增强效果”。

为实现这一目标，南昌大学研究团队提出了一种基于分数扩散模型的真实世界离焦增强方法。研究团队基于Score-based Diffusion Model（SDM），采用去噪分数匹配来学习清晰图像的数据分布，能够捕捉清晰图像的先验信息，从而在重建过程中优化信息利用，实现图像的离焦增强。其算法流程图如图2所示：

 

图2.算法流程图

其中，训练和测试所用的数据集由两部分组成：一是团队用Sony RX100III在南昌大学校园自拍的约2.3万张图像，二是公开数据，包括含500场景、2000张图的DPDD（双像素离焦去模糊）数据集，以及分别用Sony A7RM3配14mm镜头和Lytro Illum光场相机拍摄的RealBlur（3758对训练、980对测试图）与DED（大规模真实离焦图与去模糊配对集），共同构成训练与测试基础。图3展示了实验的迭代过程 。图1(a)-1(g)展示了基于分数扩散模型驱动的离焦图像去模糊迭代过程，图1(h)-1(n)和1(o)-1(u)则呈现了图1(g)中两个特写区域的迭代细节。图1(v)和1(w)分别展示了图像迭代过程中PSNR和SSIM值的变化趋势。所有图像均从含噪版本开始迭代，经过300次迭代后主体特征逐渐显现，随着迭代次数增加图像清晰度持续提升。从图1(h)-1(n)和1(o)-1(u)可见图像的局部生成过程：在第350次迭代时已能辨识局部轮廓，随着迭代次数增加，叶片与地砖的线条、轮廓等细节愈发清晰；至第700次迭代时，采用本方法重建的图像已基本完成重构，高频细节得到显著增强。图中还展示了PSNR和SSIM值的迭代曲线变化。

 

图3迭代重建过程

进一步，该团队将多种不同的去模糊方法应用于自拍摄数据集上进行效果的对比，如图4所示。图4(r)-(u) 分别展示了图4(a)-(p)的局部细节放大图。图中数字为图像的峰值信噪比（PSNR）和结构相似度（SSIM），所提方法重建后的图像的峰值信噪比和结构相似度都为最高。为了验证方法的有效性，该团队在真实数据集上进行了验证，所提方法在真实场景数据集上表现更优：峰值信噪比提升了~13.4%，结构相似度提升了~34.7%。

 

图4实验数据与结果

结论与展望：

该项工作通过先进的人工智能算法，在真实世界场景中实现了离焦增强的突破性进展。通过去噪分数匹配训练，学习清晰图像的先验信息。利用学习到的先验分布，使模型能够逐步依据其先验信息进行数据采样，无需配对数据即可在真实场景下显著恢复图像清晰度。在自采集数据集进行效果验证，并与多种去模糊方法进行对比，验证了该方法的先进性。这一进展显著提升了真实场景下的离焦增强清晰度。本工作第一作者为南昌大学李宇浩、方浩然、雷翔（共同第一作者），通讯作者为南昌大学宋贤林副教授，刘且根教授对该研究给予了重要支持。

论文链接：https://doi.org/10.1038/s41598-025-07326-6