动态列表

  • 港科大(广州)等联合发布多模态空间推理综述:为大模型画下空间理解的未来蓝图
  • ReDiff:突破并行生成瓶颈,多模态扩散模型生成质量与效率双提升
  • 谢菲尔德大学提出Region-CAM:mIoU提升13.6%,破解弱监督学习中的目标定位难题
  • 英伟达开源ChronoEdit,让P图学会物理常识,时序推理颠覆图像编辑!
  • 天津大学与快手联手提出GRAG:仅需4行代码,实现图像编辑的“丝滑”微调
  • IROS 2025 | 大连理工等提出STG-Avatar:25分钟训练,单目视频实时生成高保真数字人
  • 普林斯顿大学联手谷歌DeepMind,BOB让少样本细粒度分类精度飙升7.4%
  • 中科院SNELLA:视觉模型微调新范式,性能超越SOTA,内存占用降低近40%
  • 美团开源LongCat-Video:136亿参数长视频生成,分钟级推理720p
  • 看似万能的 AI,其实比你想的更脆弱和邪恶
  • 重建超越RAE,还能做编辑!北大&通义提出UniLIP: 自蒸馏训练助力CLIP大一统
  • 世界模型是否需要显式的 3D?UT Austin 新作 PE-Field 给出答案
  • Feed-Forward 3D综述:三维视觉进入“一步到位”时代
  • CUPID:单图秒速重建3D,港大提出姿态引导新范式
  • 每周100万人与ChatGPT聊自杀;美团推全国骑手社保补贴;高通发AI芯片,股价暴涨20%
  • 美国大学排名出炉:哥大断崖式下滑,MIT稳居CS榜第一!
  • 开源即登榜!登顶全球前十AI编程智能体,UCL初创团队开源Prometheus
  • 奥特曼考虑给ChatGPT加广告了!用8亿用户,救万亿债务
  • VaseVQA:考古领域实现专家级,诊断+补弱RL框架
  • 弑母分尸案震惊世界,AI伪造语音骗过警察!
  • 一把吉他卖出 10 亿后,LiberLive 选择自我革命
  • 仅仅是 AI,并不能让硬件更「智慧」,更重要的其实是这个
  • 北京/上海/杭州内推 | 蚂蚁集团保险大模型算法团队招聘大模型算法专家(P6-P7)
  • 多人物也能“认得准”!阿里开源Identity-GRPO,刷新视频生成一致性上限
  • RL记得更牢,SFT更健忘?普林斯顿陈丹琦团队改写后训练认知
  • 首个面向大模型的形式化数学竞赛正式启动:推动AI数学推理迈向可验证新高度
  • ICCV'25|开源AI3D数据集Objaverse++:更少的数据,却有更好的生成效果
  • 川大等提出LG-CD:一句话精准锁定遥感影像变化,F1分数高达91.83%
  • “压缩不减智”!EPIC让多模态大模型以更少 Token 跑得更快、更稳|NeurIPS 2025
  • ​一个对话助理,如何盘活整个「夸克宇宙」?
  • 马斯克 xAI 上新款「虚拟女友」;传小米 17 Air 明年上;996 成美国创业者美德
  • AI黑化如恶魔附体!LARGO攻心三步,潜意识种子瞬间开花 | NeurIPS 2025
  • 可攻可防,越狱成功率近90%!六大主流模型全中招 | EMNLP'25
  • 硅谷的「十万大裁员」:Meta按代码量裁员
  • 超94%类别第一!3D点云异常检测与修复新SOTA | ICCV'25
  • AI人格分裂实锤!30万道送命题,撕开OpenAI、谷歌「遮羞布」
  • 思而不学则殆:通义实验室×北大联合提出RL-PLUS,突破大模型推理边界
  • NeurIPS 2025 | 理解能否反过来教生成?VideoREPA让视频生成模型“懂物理”
  • 博士申请 | 香港中文大学陈玥老师招收人工智能/智能电网方向全奖博士生
  • NeurIPS 2025 | 港中文等提出COS3D:协同语言与分割,革新开放词汇3D分割
  • 上海交大与上海AI lab联手推出RAPO++:跨阶段提示优化,让文生视频模型“更懂你心”
  • 传OpenAI正开发新的生成式音乐工具;苹果将AirPods印度产能扩大一倍;《王者荣耀世界》官宣2026春天见

港中文&港科大等提出FullPart:让3D部件生成达到全分辨率精度

CV君 2025-11-01 12:12 江苏

破解小部件分辨率低的难题。

最近,3D内容生成领域又迎来了一项令人瞩目的进展。来自香港中文大学、香港科技大学、商汤研究院和重庆大学的研究者们联手提出了一种名为 FullPart 的新型3D生成框架。

顾名思义,FullPart的核心思想在于“为每个部件(Part)实现全分辨率(Full Resolution)生成”。它巧妙地结合了隐式和显式两种主流范式,旨在解决现有技术在生成3D模型时,尤其是在处理微小部件时普遍存在的几何细节不足、分辨率退化等问题。可以说,FullPart向着生成细节丰富、结构合理的复杂3D世界又迈出了坚实的一步。

现有方法的“鱼与熊掌”困境

在探索部件化3D生成的道路上,研究者们主要尝试过两种技术路径。

一种是基于 隐式表示 的方法,例如使用向量集合(vector-set tokens)来定义部件。这种方法在描述部件的整体布局和大致形状时非常灵活高效,但缺点也同样明显——由于其表示的抽象性,很难捕捉到精细的几何纹理和细节,生成的部件往往显得过于“光滑”或“模糊”。

另一条路是基于 显式表示,通常是体素(voxel)。这种方法在刻画细节上具有天然优势。然而,以往的工作通常会将所有部件置于一个共享的全局体素网格中。这带来一个新问题:对于一个复杂的3D模型(比如一个人形),头部和躯干的尺寸差异巨大。在固定的全局网格中,像手指、耳朵这样的小部件只能分到极少数的体素,导致其分辨率严重不足,最终生成的质量大打折扣。

如何在保证全局结构合理性的同时,又能让每个部件(无论大小)都拥有丰富的细节?这便是FullPart试图解决的核心矛盾。

FullPart:三步走,实现全局与局部的统一

为了破解上述难题,FullPart设计了一个精巧的三阶段生成流程,CV君认为这个设计思路非常清晰,层层递进,兼顾了不同层级的生成需求。

第一阶段:隐式扩散生成布局

FullPart首先要确定的是“哪里该有什么”。它采用了一种隐式扩散模型(implicit box vector-set diffusion)来生成各个部件的包围盒(bounding box)布局。因为包围盒本身只包含位置、尺寸等少量几何信息,不涉及复杂细节,所以这正是隐式方法大展身手的领域。这一步的输出,为后续的精细化生成搭建了整体框架。

第二阶段:全分辨率生成各部件

这是FullPart最具创新性的一步。不同于以往共享全局空间的做法,FullPart为 每一个部件 都分配了一个独立的、固定大小的全分辨率体素网格。

这意味着,无论是巨大的躯干,还是微小的手指,都会在属于自己的“画布”上被精雕细琢,享受同等的、最高的分辨率待遇。上图直观地展示了这种策略的优势:在全局共享网格中(b),小部件的细节丢失严重;而在FullPart的独立全分辨率网格中(c),细节得到了充分保留。

然而,新问题随之而来:每个部件都在自己的“小世界”里生成,如何确保它们组合在一起时能够相互对齐、保持全局的一致性呢?为此,作者引入了 中心点编码(center-point encoding) 策略。该策略在不同部件之间交换信息时,能够有效处理因实际尺寸不同而导致的空间错位问题,从而确保最终组合体的和谐统一。

第三阶段:从粗糙体素到纹理网格

通过前两步,我们得到了结构合理、细节丰富的体素模型。最后一步,FullPart会进一步将这些粗糙的部件结构优化为带有纹理的精细网格(textured meshes),完成最终的渲染。

PartVerse-XL:为部件生成量身打造的海量数据

高质量的训练数据是生成模型的基石。研究团队发现,现有的3D部件数据集在规模和标注质量上都难以满足要求。为此,他们构建并推出了迄今为止最大的、由人类手工标注的3D部件数据集——PartVerse-XL

该数据集包含了 4万个 3D物体和 32万个 精心标注的部件,覆盖了广泛的类别和形态。

这个高质量、大规模数据集的发布,不仅为FullPart的成功提供了保障,也无疑将为未来三维部件生成领域的研究提供宝贵的资源。

实验效果:全方位领先

FullPart在实验中展现了卓越的性能,无论是在定量指标还是定性效果上,都达到了当前最佳(SOTA)水平。

定性对比

与现有的SOTA部件生成器(如PartiFormer、PartSLIP)相比,FullPart生成的部件划分更合理,细节更丰富。

即便是与顶级的通用3D生成器(如GET3D、ATT3D)直接比较,FullPart在生成对象的精细度和结构完整性上也表现出色。

定量分析

在PartVerse-XL测试集上的定量比较也证实了FullPart的优势。从下表中可以看到,FullPart在FPD、MMD、COV等多项关键指标上均显著优于其他方法。

消融实验与应用

消融研究进一步验证了FullPart各个设计模块的必要性,包括人工标注数据、中心点编码以及为每个部件分配独立网格的策略,它们共同构成了FullPart成功的关键。

此外,基于部件的生成方式也为下游应用带来了极大的便利,例如可以轻松实现对特定部件的编辑、替换或风格迁移。

总结

总而言之,FullPart通过一种“分而治之”且“一视同仁”的巧妙策略,成功地在3D部件生成任务中实现了全局一致性与局部高细节的统一,为高质量、可编辑的3D内容创作提供了新的可能。

大家对这个方法怎么看?欢迎在评论区留下你的看法!

阅读原文

跳转微信打开

联系我们