在高质量 3D 生成需求日益增长的背景下股票配资平台查询,如何高效生成结构精良、几何精细的三维资产,已成为 AIGC 和数字内容创作领域的关键挑战。
尽管近年来的 3D 生成方法发展迅速,精度越来越高,但现有框架在兼顾效率和质量上依然面临瓶颈,尤其是在高分辨率建模中,计算的高复杂度严重制约了生成速度和应用落地。
为解决上述困境,南洋理工大学联合数美万物、西湖大学提出了 Ultra3D:一种全新的 3D 生成框架。
Ultra3D 提出了一种 coarse-to-fine 的两阶段生成流程,高效实现高分辨率三维资产建模,刷新了 3D 生成质量的上限。在第一阶段,Ultra3D 利用高效的 VecSet 表示快速生成 coarse mesh,并导出稀疏体素;在第二阶段,引入新提出局部化的 Part Attention,对每个体素进行细粒度特征建模。
该机制仅在语义一致的局部区域内进行注意力计算,大幅降低全局注意力的冗余计算,有效提升生成效率。该方法支持 1024 分辨率输出,实现在保持高保真度的同时,实现高达 6.7 × 的加速比,为三维资产的快速生成和下游应用提供了切实可行的解决方案。
研究背景
3D 生成领域近年来进展迅猛,稀疏体素凭借其对表面细节强大的建模能力成为了近来的各个 SoTA 方法普遍采用的 3D 表征。
这一表征将 3D 物体编码成稀疏体素以及与各个体素对应的 latent token。其虽然表达能力非常强,但由于其 token 数目巨大,在高分辨率下往往过万,所以导致其计算效率很低。
鉴于此,之前的工作往往局限于一个较低的分辨率,从而难以冲击更高的质量。为解决这一问题,Ultra3D 旨在提出一个全新的兼顾效率和质量的二阶段生成 pipeline,在不降低质量的情况下大幅加速了训练和推理,从而将其扩展到了更高的分辨率和更高的质量。
方法概述
Ultra3D 由一个二阶段的 Pipeline 构成:第一阶段通过紧凑高效的 VecSet 表征快速生成 coarse mesh,并据此体素化得到稀疏体素的结构布局;第二阶段则基于该布局引入结构感知的 Part Attention,对每个体素进行 latent feature 精细建模。
Part Attention 通过几何对齐的语义分组,仅在局部区域内计算注意力,大幅减少计算冗余,同时保持几何连续性和细节质量。实验显示,Ultra3D 可在不牺牲生成质量的前提下,实现 3.3 × 的整体加速,并在多个指标上超越现有 SoTA 方法,兼具速度与保真。
Ultra3D 的核心在于其新提出的 part attention 机制,sparse voxel 这一表征虽然表达力很强,但苦于其 token 数太大,导致 attention 的计算开销巨大。
为解决这一问题,Ultra3D 提出了一种专为 3D 设计的 part attention,其将 attention 计算限制在同一个 part group 内,避免了冗余的全局 attention,从而在不降低质量的情况下大幅度地降低了计算压力。
一个简单的替代方案是使用在大语言模型领域常用到的 window attention,但如下图所示,实验表明这种 attention 直接运用到 3D 中会导致质量的下降。这是因为其固定的分割模式与 3D 物体的语义并不吻合。
与其他方法的对比实验和 user study 表明,Ultra3D 在生成质量上远超了之前的 SoTA 方法,能生产具有高精度细节的高分辨 mesh。attention 的 ablation 实验也表明 part attention 是更加适用与 3D 生成的 local attention 机制。
结语
Ultra3D 提出了一个兼顾效率与保真度的创新性 3D 生成框架,成功突破了当前主流方法在分辨率和计算成本之间的权衡瓶颈。
通过 coarse-to-fine 的双阶段设计,以及结构感知的 Part Attention 机制,Ultra3D 显著提高了稀疏体素建模的效率,在保持高质量输出的同时实现了多倍加速,支持高达 1024 分辨率的三维资产生成。
这一方法不仅在多个定量指标上大幅超越现有 SoTA 方法,在用户主观评价中也表现优异,能够真实还原复杂几何结构和微小纹理细节,如毛发、衣褶等,展现出卓越的细节还原能力。
更重要的是,Ultra3D 具备良好的扩展性和通用性,为数字内容创作、游戏建模、AR/VR、影视制作等多种下游应用提供了更快速、更高质的 3D 建模方案。
随着生成式 AI 向多模态和高保真内容生成不断迈进,Ultra3D 所展现出的性能和潜力,标志着高分辨率 3D 生成进入了一个新阶段。
未来,Ultra3D 有望进一步拓展到动画、可编辑 3D 内容生成以及 3D-4D 一体化建模等更多复杂任务,成为推动 AIGC 向更高维空间发展的关键技术基石。
论文链接:https://arxiv.org/abs/2507.17745
项目地址:https://buaacyw.github.io/ultra3d/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
� � 点亮星标 � �
科技前沿进展每日见股票配资平台查询
顶益所配资提示:文章来自网络,不代表本站观点。