CV君 2025-09-14 11:30 江苏
在许多现实场景中，例如无人机侦察、自动驾驶和医学诊断，常常需要将来自不同传感器的图像（如可见光和红外图像）进行融合，以获得比单一图像更丰富、更全面的信息。然而，这些原始图像往往分辨率较低，甚至可能因为拍摄条件不佳而变得模糊。传统方法通常将“图像融合”和“超分辨率”作为两个独立任务处理，这种分步走的方式不仅计算量大，还容易在过程中引入或放大伪影，导致最终结果不尽人意。
FS-Diff在可见光-红外（VI-IR）和医学图像融合任务上展现了出色的8倍超分融合效果，能够应对单图模糊、双图模糊等多种复杂场景。
为了解决这一难题，来自华南理工大学、佛山大学、北京航空航天大学等机构的研究者们提出了一种名为 FS-Diff 的全新框架。该方法巧妙地利用了扩散模型（Diffusion Model）的强大生成能力， 首次实现了在输入图像清晰度不一致的情况下，一步到位地同时完成多模态图像的融合与超分辨率重建 。FS-Diff意为“Fusion and Super-resolution with Diffusion”，它通过语义引导和清晰度感知机制，能够智能地处理模糊输入，生成细节丰富、语义信息准确的高分辨率融合图像。
标题： FS-Diff: Semantic Guidance and Clarity-Aware Simultaneous Multimodal Image Fusion and Super-Resolution
作者： Yuchan Jie ，Yushen Xu ，Xiaosong Li ，Fuqiang Zhou ，Jianming Lv ，Huafeng Li (昆明理工大学)
机构： 华南理工大学；佛山大学；北京航空航天大学；昆明理工大学
研究背景
多模态图像融合（Multimodal Image Fusion, MMIF）旨在将来自不同传感器的多源图像的互补信息结合起来，生成一幅信息更丰富的图像。例如，可见光（VI）图像提供丰富的纹理细节，而红外（IR）图像则能穿透烟雾、突出热源目标。将二者融合，可以在全天候条件下获得更优的场景感知能力。
在实际应用中，获取的图像往往是低分辨率（Low-Resolution, LR）的。因此，将图像融合（Fusion）与超分辨率（Super-Resolution, SR）结合起来（即IFSR任务）具有重要的实用价值。然而，现有的方法大多存在以下问题：
两步法处理： 先做超分再做融合，或反之。这种方式容易在第一步就引入噪声和伪影，并在第二步被放大，影响最终质量。
对输入质量敏感： 现有方法通常假设输入图像都是清晰的，但在现实中，由于运动、天气或设备限制，输入图像可能一个是清晰的，另一个是模糊的，甚至两个都是模糊的。现有模型难以自适应地处理这种清晰度不一致的情况。
缺乏全局和语义信息： 传统方法多关注像素级别的对齐和融合，容易丢失图像的全局结构和高层语义信息，导致融合结果不自然。
基于以上挑战，研究者们提出了FS-Diff，一个基于扩散模型的端到端统一框架，旨在优雅地解决上述所有问题。
FS-Diff：融合与超分的统一框架
FS-Diff将图像融合与超分辨率任务统一为一个条件生成问题，其核心是利用一个经过修改的U-Net网络，在扩散模型的反向去噪过程中，逐步从纯高斯噪声生成目标高分辨率融合图像。
上图展示了FS-Diff的整体框架。其成功的关键在于两大创新机制：清晰度感知的动态语义提取（CLSE）和双边特征Mamba（BFM）。
核心机制1：清晰度感知的动态语义提取 (CLSE)
这是FS-Diff最核心的创新。为了让模型智能地处理不同清晰度的输入图像，研究者提出了CLSE机制。该机制基于一个特殊设计的 清晰度感知CLIP（CA-CLIP） 模型，能够判断输入图像是“清晰”还是“模糊”，并据此采取不同的语义提取策略：
Case 1 (单图模糊): 当输入的一幅图像清晰，另一幅模糊时，CLSE机制会 仅从清晰图像中提取内容嵌入（content embedding） ，并将其作为语义引导注入到扩散模型的去噪过程中。这样做可以最大程度地利用高质量信息，避免模糊图像带来的负面影响。
Case 2 (双图模糊): 当两幅输入图像都模糊时，两者的语义信息都已严重退化。此时，CLSE机制会从两幅模糊图像中分别提取内容嵌入，然后 选择两者中最大（最显著）的跨图像内容嵌入 作为引导。这种策略旨在从有限的信息中抢救出最关键的语义部分。
这种动态、自适应的策略使得FS-Diff能够灵活应对各种复杂的真实输入情况，显著提升了模型的鲁棒性和生成质量。
核心机制2：双边特征Mamba (BFM)
为了更好地提取和融合来自多模态图像的全局特征，FS-Diff引入了最近在序列建模中表现出色的Mamba架构，并设计了双边特征Mamba（Bidirectional feature Mamba, BFM）模块。
BFM能够有效地对图像特征进行长距离依赖建模，从而在融合过程中构建一个统一的、全局感知的联合图像表示。这有助于模型更好地理解不同模态特征之间的内在联系，保留图像的整体结构，减少伪影。
AVMS：一个新的多模态航拍数据集
为了更好地验证模型在真实航拍场景下的性能，研究者还构建并开源了一个全新的 AVMS（Aerial View Multi-scene）数据集 。
该数据集包含859对配准好的可见光-红外图像对，覆盖了白天、黄昏、夜晚和复杂天气等多种光照条件，以及住宅、校园、街道、农田等超过7种不同场景。更重要的是，数据集中还包含了 3821个标注好的目标 ，这使得它不仅能用于评估融合和超分任务，还能直接用于评估下游的目标检测和语义分割任务。
AVMS数据集中的场景分布示例，上排为可见光图像，下排为对应的红外图像。
实验与结果分析
研究者在可见光-红外融合（VIRF）、医学图像融合（MIF）和多焦点图像融合等多个任务上进行了广泛的实验。
融合与超分辨率效果
无论是在公开数据集（LLVIP, M3FD, MSRS）还是自建的AVMS数据集上，FS-Diff都展现了SOTA的性能。如下图所示，在8倍超分辨率的极端挑战下，对比方法生成的图像要么模糊不清，要么丢失了关键目标（如“人”、“电线杆”），而FS-Diff能够生成清晰且细节完整的图像。
在医学图像融合任务上，FS-Diff同样表现出色，能够清晰地融合来自MRI和PET/SPECT的结构与功能信息。
量化指标也证实了这一点，FS-Diff在VIF, QAB/F, SSIM等多个关键指标上全面领先于其他方法。
消融研究
为了验证CLSE和BFM模块的有效性，研究者进行了消融实验。结果表明，移除任何一个模块都会导致性能显著下降，证明了这两个创新设计的协同作用是FS-Diff取得优异性能的关键。
实验还验证了CLSE机制中语义选择策略的合理性。如下图所示，在单图模糊时使用清晰图像的语义，以及在双图模糊时使用最大语义，都能带来最佳的融合效果。
对下游任务的提升
高质量的融合图像对下游高级视觉任务至关重要。实验表明，使用FS-Diff生成的融合图像，在目标检测和语义分割任务上的性能远超使用其他方法融合的图像，甚至优于单一模态的原始图像。这充分证明了FS-Diff的实用价值。
目标检测结果对比，FS-Diff的结果（最右）显著减少了漏检。
语义分割结果对比，FS-Diff的结果（最右）分割出了更完整、更准确的区域。
总结
FS-Diff通过将多模态图像融合与超分辨率任务统一到单个扩散模型框架中，并引入创新的清晰度感知动态语义提取（CLSE）机制和双边特征Mamba（BFM），成功解决了现有方法在处理清晰度不一致的低分辨率图像时的痛点。大量的实验证明，该方法不仅在生成图像的质量上达到了新的SOTA水平，而且能显著提升下游视觉任务的性能。此外，一同发布的AVMS数据集也为该领域的研究提供了宝贵的资源。
尽管模型在复杂度和推理时间上仍有优化空间，但FS-Diff无疑为低层视觉任务的统一处理提供了一个极具启发性的新范式，在自动驾驶、精准农业、国防安全等领域展现了巨大的应用潜力。
了解最新 AI 进展，欢迎关注公众号:我爱计算机视觉投稿寻求报道请发邮件至：amos@52cv.net欢迎点赞、分享、收藏、评论。