CV君 2025-09-24 17:33 江苏
本文提出了一种名为 Point-SSM 的新型点云分析框架，它创新地将最近在序列建模领域大放异彩的状态空间模型（SSM，如Mamba）应用于无序的点云数据。通过引入多种 扫描策略 将点云序列化，Point-SSM能够高效地捕捉局部和全局特征，在多个医学点云分析任务（分类、补全、分割）上取得了SOTA性能。
论文标题： Hierarchical Feature Learning for Medical Point Clouds via State Space Model
作者团队： Guoqing Zhang, Jingyun Yang, Yang Li
机构： 清华大学(深圳)，深圳鹏城实验室
研究背景与意义
点云作为一种高效的3D数据表示形式，在自动驾驶、机器人和医学成像等领域有着广泛应用。然而，点云数据具有 无序性、不规则性 的特点，这给深度学习模型的处理带来了挑战。
过去的主流方法包括：
PointNet/PointNet++： 直接处理点集，但对局部结构信息的捕捉有限。
基于图/卷积的方法 (如DGCNN)： 在局部邻域内构建图或应用卷积，能更好地学习局部几何特征，但感受野受限。
Point Transformer： 利用自注意力机制来捕捉点与点之间的长距离依赖关系，性能强大，但其二次方的计算复杂度限制了其在处理大规模点云时的可扩展性。
与此同时，一种新的序列建模架构—— 状态空间模型（State-Space Model, SSM） ，特别是其变体 Mamba ，因其在线性复杂度下强大的长序列建模能力，在自然语言处理和2D视觉领域迅速崛起，成为Transformer的有力竞争者。
然而，一个核心问题摆在面前：如何将为有序序列设计的SSM/Mamba架构应用于本质上无序的点云？ 本文提出的Point-SSM正是为了解决这一挑战，旨在为点云分析提供一个既高效又强大的新范式，特别是在结构复杂的医学点云领域。
Point-SSM的核心方法
Point-SSM的整体架构采用了一种类似U-Net的层级式编解码器设计，其核心是创新的 点集扫描模块（Point Set Scanning Module, PSSM） 。
如上图所示，编码器通过最远点采样（FPS）逐步对点云进行下采样，在每个层级，模型都会学习该层级点的特征。解码器则通过插值将特征从稀疏点云传播回密集点云，最终完成分割或补全等任务。整个流程的关键在于每个构建块（building block）中如何提取点特征。
点云序列化：扫描策略
为了让SSM能够处理点云，第一步也是最关键的一步，就是将无序的点云“拉平”成一个有序的1D序列。作者为此提出了几种 扫描策略（Scanning Strategies） 。
上图（左）展示了两种扫描方式：
坐标顺序扫描 (Coordinate-order scanning): 例如Z-order扫描，即简单地按照点的z坐标值进行排序。这种方式很直观，尤其适用于像CT扫描这样逐层获取的医学数据。
由内向外扫描 (Inside-out scanning): 计算所有点到点云中心的距离，并按距离从小到大排序。这种方式对于捕捉嵌套或管状结构特别有效。
通过这些扫描策略，原本无序的点云就被转换成了SSM可以处理的序列数据。
PSSM模块：从局部到全局的特征提取
在将点云序列化后，Point-SSM使用 PSSM模块 来提取特征。作者设计了两种PSSM模块：
Vanilla PSSM Block (上图b): 用于处理 短序列 。在每个层级，模型首先通过k近邻（KNN）查询找到每个中心点的邻域点。这些邻域点本身就构成了一个短的、有局部意义的序列，可以直接送入一个基础的PSSM模块（基于Mamba）来提取 局部特征 。
Group PSSM Block (上图c): 用于处理 长序列 。在提取了局部特征后，模型将整个点云（或下采样后的点云）作为一个长序列，利用多种扫描策略（如x, y, z, inside-out及其反向）生成多个不同的序列。这些长序列被送入Group PSSM模块，该模块能够并行处理多个扫描序列，高效地捕捉点云的 全局长距离依赖关系 。
通过这种“先局部、后全局”的方式，Point-SSM能够全面地理解点云的几何与语义信息。
实验与结果分析
为了验证Point-SSM的有效性，作者构建了一个名为 MedPointS 的大规模医学点云数据集，该数据集源自MedShapeNet，包含了超过28,000个解剖结构，涵盖46个类别。
定量分析
作者在MedPointS数据集上进行了三项任务的评测：解剖结构分类、形状补全和器官分割。
从上表的结果可以看出，与PointNet、DGCNN、PCT等经典和基于Transformer的模型以及早期的PointMamba相比，Point-SSM (Ours) 在所有三项任务的所有评估指标上均取得了最佳性能。例如，在分类任务中，其准确率（ACC）达到了 94.13%；在分割任务中，其Dice系数达到了 74.47%。这充分证明了该方法的优越性和在医学点云分析领域的巨大潜力。
定性分析
上图可视化了形状补全（上排）和器官分割（下排）的结果。可以看到，相比其他方法，Point-SSM生成的补全形状（结肠）更完整、更平滑；其分割结果（上身躯干）也更精确，边界更清晰，证明了模型成功学习到了富有判别力的语义和几何特征。
消融研究
为了探究模型各个组件的贡献，作者进行了一系列消融实验。
上表的结果揭示了几个关键点：
PSSM模块的重要性： 简单地将Transformer替换为PSSM模块就能带来性能提升（mIoU从63.46%提升到64.71%）。
扫描策略的有效性： 加入扫描策略后，性能进一步提升（mIoU达到64.94%），证明了点云序列化对于SSM模型至关重要。
动态邻域查询的优势： 使用在特征空间中进行的动态KNN查询（D）比在固定度量空间中的球查询（S）效果更好，因为它能同时捕捉几何和语义上的相似性，最终将mIoU提升至 66.53%。
总结与贡献
本文对医学点云的理解做出了全面而深入的研究，其主要贡献如下：
提出Point-SSM框架： 首次将强大的状态空间模型（SSM）范式成功应用于点云分析，提出了一种新颖的、高效的层级式学习框架。
引入点云扫描策略： 通过坐标排序和由内向外等扫描策略，巧妙地解决了SSM处理无序点集的难题，为点云的序列化建模提供了新思路。
构建MedPointS数据集： 整理并发布了一个大规模的医学点云数据集，为该领域的未来研究提供了宝贵的基准和资源。
SOTA性能： 在MedPointS数据集上的大量实验表明，Point-SSM在分类、补全和分割任务上全面超越了现有方法，展现了其作为点云分析新骨干网络的巨大潜力。
CV君认为，Point-SSM的提出，成功地将SSM/Mamba架构的线性复杂度和长序列建模优势带入了3D点云世界，为处理大规模、复杂结构的点云数据提供了一个极具前景的新方向。
了解最新 AI 进展，欢迎关注公众号:我爱计算机视觉感谢点赞支持。