CV君 2025-11-07 21:32 江苏
De-LightSAM，让医疗影像分割更轻、更快、更通用。
最近，分割一切模型（Segment Anything Model, SAM）在计算机视觉领域掀起了一股浪潮，它强大的零样本分割能力让人印象深刻。然而，当这位“通才”进入严肃的医疗影像领域时，却显得有些水土不服：巨大的计算开销、对人工提示（prompt）的依赖，以及在不同医疗影像模态（如CT、X光、超声）之间泛化能力的不足，都限制了其在临床场景的实际应用。
为了解决这些痛点，来自宁波诺丁汉大学、香港中文大学、英国林肯大学、中国科学院香港创新研究院、诺丁汉大学以及香港理工大学的研究者们联手，提出了一种名为 De-LightSAM 的新框架。它是一个为通用化医疗影像分割量身打造的、模态解耦的轻量级SAM。顾名思义，“De-Light”即“Decoupled”和“Lightweight”，揭示了其两大核心特性：解耦与轻量化。该研究旨在让SAM变得更轻、更快，并且能够在无需人工交互的情况下，精准地分割不同类型的医疗影像。
论文标题: De-LightSAM: Modality-Decoupled Lightweight SAM for Generalizable Medical Segmentation
作者: Qing Xu, Jiaxuan Li, Xiangjian He, Chenxin Li, Fiseha Berhanu Tesema, Wenting Duan, Zhen Chen, Rong Qu, Jonathan M. Garibaldi, Chang Wen Chen
机构: 宁波诺丁汉大学，香港中文大学，英国林肯大学，中国科学院香港创新研究院，诺丁汉大学，香港理工大学
论文地址: https://ieeexplore.ieee.org/abstract/document/11203003
当前的挑战：医疗SAM的“三座大山”
将SAM应用于医疗领域，主要面临三大挑战：
计算成本高昂：标准SAM-H的图像编码器拥有超过6亿的参数，这对于资源有限的临床环境来说是个巨大的负担。
依赖手动提示：SAM的分割效果很大程度上依赖于用户提供精确的点、框等提示，这在需要处理大量影像的临床工作流中既费时又费力。
泛化能力受限：医疗影像具有高度的模态异质性（如皮肤镜、X光、眼底图像等成像原理和特征差异巨大）。现有的方法通常采用“一刀切”的解码策略，导致不同模态的知识相互干扰，模型难以泛化到未曾见过的影像类型。
上图直观展示了现有医疗SAM工作的局限性（a, b）与De-LightSAM的优势（c），即同时实现了计算高效和自动提示生成。
De-LightSAM：解耦一切，化繁为简
为了翻越这三座大山，作者们设计了De-LightSAM框架，其核心思想是“模态解耦”。整个框架由三大创新组件构成：领域可控的图像编码器（DC-Encoder）、自补丁提示生成器（SP-Generator）和查询解耦的模态解码器（QM-Decoder）。
上图为De-LightSAM的整体框架图。给定一张医疗影像，模型通过三个核心步骤完成分割任务。
模态解耦知识蒸馏（MDKD）：轻量化的基石
要让模型变“轻”，知识蒸馏（Knowledge Distillation, KD）是常用方法。但传统的KD方法在处理多模态数据时效果不佳。为此，作者提出了一种新颖的 多模态解耦知识蒸馏（Multi-modal Decoupled Knowledge Distillation, MDKD） 策略。
MDKD的聪明之处在于，它构建了一个“双师”教学模型：
一位“通识课老师”：使用在海量自然图像上预训练的SAM编码器，向学生模型（De-LightSAM的编码器）传授通用的、跨领域的视觉知识（Common Knowledge）。
一位“专业课老师”：使用在医疗数据上微调过的SAM编码器，向学生模型传授针对特定医疗模态的专业知识（Domain-specific Knowledge）。
通过这种方式，De-LightSAM的编码器既学到了强大的基础视觉能力，又掌握了不同医疗影像的“方言”，从而在保持轻量的同时，具备了强大的特征提取和泛化能力。
上图详细阐述了MDKD策略，它将蒸馏任务分解为通用特征蒸馏和领域特定特征蒸馏。
三大核心组件协同工作
DC-Encoder (Domain-Controllable Image Encoder) ：这是一个轻量级的编码器，通过内置的“模态控制器”，可以为不同的医疗模态（皮肤镜、X光等）生成具有辨识度的专属特征。
SP-Generator (Self-Patch Prompt Generator) ：该组件实现了分割的“自动化”。它能从编码器提取的图像特征中，自动生成高质量的补丁提示（patch prompts），从而摆脱了对人工点、框输入的依赖。
QM-Decoder (Query-decoupled Modality Decoder) ：这是解决模态冲突的关键。它为每一种医疗模态都设置了独立的解码通道和专属的查询令牌（query token），实现了“一对一”的解码。这就像为每种语言都配备了专属翻译官，避免了信息在解码过程中因“串线”而失真。
实验效果：又轻又强，泛化性出色
De-LightSAM在6种不同的医疗影像模态（包括皮肤镜、X光、眼底、结肠镜、超声和显微镜）上进行了广泛实验，涵盖了源域（训练时可见）和目标域（未见过）的分割任务。
在源域上的表现
与现有的全自动分割模型（如U-Net系列）和轻量级SAM模型相比，De-LightSAM在所有源域数据集上均取得了SOTA（State-of-the-art）的性能。
上表展示了De-LightSAM在源域上的定量比较结果。特别是在自动分割模式下，相比其他轻量级SAM在某些任务（如S3和S6）上性能急剧下降，De-LightSAM表现稳健，Dice分数分别高出 56.47% 和 25.92%。
上图为源域上的定性分割结果对比，可以看到De-LightSAM的分割结果与真实标签（GT）更为接近，边缘更清晰。
惊人的泛化能力
更令人印象深刻的是De-LightSAM在未见过的目标域上的泛化表现。
上表显示，在跨域分割任务中，De-LightSAM全面超越了所有对比方法。例如，在结肠镜影像（S4→T4）和超声影像（S5→T5）的泛化任务中，Dice分数分别比之前的SOTA模型MADGNet高出 21.64% 和 16.71%，展示了其卓越的泛化能力。
上图为目标域上的定性分割结果对比，De-LightSAM的分割结果在各种未见过的影像上依然保持了高精度。
轻量与高效
性能强大的同时，De-LightSAM做到了极致的轻量化。
上表对比了计算成本。De-LightSAM的参数量仅为 12.74M，大约是SAM-H（636M）的 2.0%。在自动分割模式下，其推理速度（FPS）达到了 13.09，远超其他轻量级SAM模型（普遍在1 FPS左右），延迟也最低，这为临床实时应用提供了可能。
上图展示了SP-Generator生成的补丁提示（Patch Prompts）与最终预测掩码的可视化结果，可以看到两者具有很强的一致性，证明了自动提示的有效性。
消融实验与深入分析
作者通过详尽的消融实验，验证了DC-Encoder、SP-Generator、QM-Decoder以及MDKD策略每个部分的有效性。
De-LightSAM 组件消融实验
实验设计非常巧妙，它从一个标准的、未做任何修改的 SAM 模型（基线）开始，然后逐一添加或组合 De-LightSAM的三大组件，来观察性能的变化。
最终的完整模型性能远超任何单个组件或两两组合，这清晰地表明 De-LightSAM的三个组件设计合理且缺一不可，它们之间存在着 1+1+1 > 3 的协同增效作用。
MDKD 策略消融实验
这部分实验则聚焦于回答另一个关键问题：论文提出的 MDKD 训练策略，相比传统的知识蒸馏 (KD)或从零开始训练，究竟优越在哪里？
实验对比了三种训练方式在两种模型设置（单独的 DC-Encoder 和完整的 De-LightSAM）下的表现，均表现出稳定的性能提升。
总结与展望
De-LightSAM通过创新的模态解耦设计，成功地解决了SAM在医疗领域应用的核心难题。它不仅将模型的参数量降低了两个数量级，还实现了全自动、高精度的分割，并在多种未见过的医疗影像上表现出强大的泛化能力。CV君认为，这项工作为构建真正适用于临床的、通用的、高效的医疗影像分割大模型铺平了道路，具有重要的研究意义和应用价值。
大家对这种模态解耦的思路怎么看？欢迎在评论区留下你的看法！