中科院苏州医工所在多聚焦图像融合领域取得进展

景深是光学系统中最近和最远的清晰成像平面之间的距离。景深越大，该光学系统可清晰成像的范围就越广。由于光学镜头的景深限制，难以获得全聚焦图像，即其中往往存在一部分模糊区域。解决这一问题的有效方法之一是多聚焦图像融合（MFIF）。MFIF旨在将对同一场景中的不同物体分别进行聚焦得到的多幅局部聚焦图像进行融合，得到所有物体都清晰的全聚焦图像。MFIF可以有效的扩展光学镜头的景深，使成像系统突破景深限制，以获得更高质量的图像。

目前，在MFIF领域中，深度学习方法的效果明显优于传统算法。近年来，基于深度学习的MFIF算法发展迅速，但科学家往往致力于设计越来越复杂的网络结构、模块和损失函数来提升算法的融合性能。这意味着必须花费大量的时间来设计巧妙的网络结构，并完成足够多的对比实验。而这不利于算法性能的提升，导致当前的MFIF算法性能遇到了瓶颈。

为此，中科院苏州生物医学工程技术研究所付威威团队重新考虑了图像融合任务，并将其建模为一种条件生成模型。该团队结合当前图像生成领域效果最好的扩散模型（Diffusion Models），提出了一种基于扩散模型的MFIF算法——FusionDiff（FusionDiff的图像融合原理如图1所示）。这是该扩散模型在多聚焦图像融合领域的首次应用，为该领域的研究提供了新思路。

图1.FusionDiff算法的图像融合原理示意图

经过实验验证，FusionDiff在融合效果和小样本学习性能上均优于其他MFIF算法。FusionDiff在8种评价指标上与13种代表性的MFIF算法进行了对比，取得了最好的融合效果（表1、2）。同时，FusionDiff是一种小样本学习的MFIF算法，仅需要100对训练集就能够取得良好的融合效果。表3展示了不同MFIF算法的训练集规模，FusionDiff的训练集规模降低为其他算法的2%以内。这意味着该算法可能适用于样本稀缺的应用场景，如显微图像融合。

表1.在Lytro公开测试集上所有算法的平均得分

表2.在MFFW公开测试集上所有算法的平均得分

表3.不同MFIF算法的训练集规模

相关研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models为题，发表在《专家系统与应用》（Expert Systems with Applications）上。研究工作得到山东省自然科学基金和中国科学院青年创新促进会的支持。

论文链接：https://doi.org/10.1016/j.eswa.2023.121664