CV君 2025-11-01 12:12 江苏
破解小部件分辨率低的难题。
最近,3D内容生成领域又迎来了一项令人瞩目的进展。来自香港中文大学、香港科技大学、商汤研究院和重庆大学的研究者们联手提出了一种名为 FullPart 的新型3D生成框架。
顾名思义,FullPart的核心思想在于“为每个部件(Part)实现全分辨率(Full Resolution)生成”。它巧妙地结合了隐式和显式两种主流范式,旨在解决现有技术在生成3D模型时,尤其是在处理微小部件时普遍存在的几何细节不足、分辨率退化等问题。可以说,FullPart向着生成细节丰富、结构合理的复杂3D世界又迈出了坚实的一步。
论文标题: FullPart: Generating each 3D Part at Full Resolution
作者: Lihe Ding, Shaocong Dong, Yaokun Li, Chenjian Gao, Xiao Chen, Rui Han, Yihao Kuang, Hong Zhang, Bo Huang, Zhanpeng Huang, Zibin Wang, Dan Xu, Tianfan Xue
机构: 香港中文大学; 香港科技大学; 商汤研究院; 重庆大学
代码仓库: https://github.com/hkdsc/fullpart
现有方法的“鱼与熊掌”困境
在探索部件化3D生成的道路上,研究者们主要尝试过两种技术路径。
一种是基于 隐式表示 的方法,例如使用向量集合(vector-set tokens)来定义部件。这种方法在描述部件的整体布局和大致形状时非常灵活高效,但缺点也同样明显——由于其表示的抽象性,很难捕捉到精细的几何纹理和细节,生成的部件往往显得过于“光滑”或“模糊”。
另一条路是基于 显式表示,通常是体素(voxel)。这种方法在刻画细节上具有天然优势。然而,以往的工作通常会将所有部件置于一个共享的全局体素网格中。这带来一个新问题:对于一个复杂的3D模型(比如一个人形),头部和躯干的尺寸差异巨大。在固定的全局网格中,像手指、耳朵这样的小部件只能分到极少数的体素,导致其分辨率严重不足,最终生成的质量大打折扣。
如何在保证全局结构合理性的同时,又能让每个部件(无论大小)都拥有丰富的细节?这便是FullPart试图解决的核心矛盾。
FullPart:三步走,实现全局与局部的统一
为了破解上述难题,FullPart设计了一个精巧的三阶段生成流程,CV君认为这个设计思路非常清晰,层层递进,兼顾了不同层级的生成需求。
第一阶段:隐式扩散生成布局
FullPart首先要确定的是“哪里该有什么”。它采用了一种隐式扩散模型(implicit box vector-set diffusion)来生成各个部件的包围盒(bounding box)布局。因为包围盒本身只包含位置、尺寸等少量几何信息,不涉及复杂细节,所以这正是隐式方法大展身手的领域。这一步的输出,为后续的精细化生成搭建了整体框架。
第二阶段:全分辨率生成各部件
这是FullPart最具创新性的一步。不同于以往共享全局空间的做法,FullPart为 每一个部件 都分配了一个独立的、固定大小的全分辨率体素网格。
这意味着,无论是巨大的躯干,还是微小的手指,都会在属于自己的“画布”上被精雕细琢,享受同等的、最高的分辨率待遇。上图直观地展示了这种策略的优势:在全局共享网格中(b),小部件的细节丢失严重;而在FullPart的独立全分辨率网格中(c),细节得到了充分保留。
然而,新问题随之而来:每个部件都在自己的“小世界”里生成,如何确保它们组合在一起时能够相互对齐、保持全局的一致性呢?为此,作者引入了 中心点编码(center-point encoding) 策略。该策略在不同部件之间交换信息时,能够有效处理因实际尺寸不同而导致的空间错位问题,从而确保最终组合体的和谐统一。
第三阶段:从粗糙体素到纹理网格
通过前两步,我们得到了结构合理、细节丰富的体素模型。最后一步,FullPart会进一步将这些粗糙的部件结构优化为带有纹理的精细网格(textured meshes),完成最终的渲染。
PartVerse-XL:为部件生成量身打造的海量数据
高质量的训练数据是生成模型的基石。研究团队发现,现有的3D部件数据集在规模和标注质量上都难以满足要求。为此,他们构建并推出了迄今为止最大的、由人类手工标注的3D部件数据集——PartVerse-XL。
该数据集包含了 4万个 3D物体和 32万个 精心标注的部件,覆盖了广泛的类别和形态。
这个高质量、大规模数据集的发布,不仅为FullPart的成功提供了保障,也无疑将为未来三维部件生成领域的研究提供宝贵的资源。
实验效果:全方位领先
FullPart在实验中展现了卓越的性能,无论是在定量指标还是定性效果上,都达到了当前最佳(SOTA)水平。
定性对比
与现有的SOTA部件生成器(如PartiFormer、PartSLIP)相比,FullPart生成的部件划分更合理,细节更丰富。
即便是与顶级的通用3D生成器(如GET3D、ATT3D)直接比较,FullPart在生成对象的精细度和结构完整性上也表现出色。
定量分析
在PartVerse-XL测试集上的定量比较也证实了FullPart的优势。从下表中可以看到,FullPart在FPD、MMD、COV等多项关键指标上均显著优于其他方法。
消融实验与应用
消融研究进一步验证了FullPart各个设计模块的必要性,包括人工标注数据、中心点编码以及为每个部件分配独立网格的策略,它们共同构成了FullPart成功的关键。
此外,基于部件的生成方式也为下游应用带来了极大的便利,例如可以轻松实现对特定部件的编辑、替换或风格迁移。
总结
总而言之,FullPart通过一种“分而治之”且“一视同仁”的巧妙策略,成功地在3D部件生成任务中实现了全局一致性与局部高细节的统一,为高质量、可编辑的3D内容创作提供了新的可能。
大家对这个方法怎么看?欢迎在评论区留下你的看法!