由华中科技大学、慕尼黑工业大学以及独立研究者组成的研究团队发布的技术「MeshRipple: Structured Autoregressive Generation of Artist-Meshes」的介绍!针对自回归式3D网格生成中“容易破绽百出”这一根本问题提出的新生成方法!
MeshRipple: Structured Autoregressive Generation of Artist-Meshes
网格是用于表示3D资产的主要表示形式。
在自回归式网格生成方法中,面(Face)被串行化为序列,并且为了应对内存限制,会采用使用滑动窗口推理的片段式学习。然而,这种不一致会破坏长距离的几何依赖关系,从而生成孔洞和分离的组件。
为了解决这一重大限制,本研究提出了MeshRipple。MeshRipple是一种像水面上扩散的波纹一样,从活动生成前沿向外扩展网格的生成方法。
MeshRipple基于三个主要技术要素。
分别是与表面拓扑一致的生成顺序的前沿感知型BFS分词、保持一致性与连通性的扩展性预测策略,以及为了解决长距离拓扑依赖关系、具有实际上无限感受野的稀疏注意力型全局记忆。通过将这些设计整合起来,MeshRipple实现了具有高表面保真度和拓扑完整性的网格生成,并表现出优于近年来强力现有方法的性能。
- 不是把网格作为面序列,而是作为“表面的扩展”来生成
- 基于BFS,形成沿表面拓扑的自然生成顺序
- 即使在生成过程中,网格也不容易中断
- 孔洞、分离等破绽大幅减少
- 能够保留长距离的形状依赖关系
- 比现有的自回归式网格生成方法更高质量
与其说是“如何分割”,不如说是“如何扩展”的思路。或许这实际上更接近手动进行重拓扑时的方法?我个人很希望这项技术能催生出重拓扑工具……。
目前看来代码尚未公开。
详情请查看项目页面!
链接
MeshRipple: Structured Autoregressive Generation of Artist-Meshes