与 Tripo 等产品同属 VAST 的 AI 研究团队和香港大学公开了利用 AI 进行网格部件分解的技术「HoloPart」并已开源！

对于从事 3D 建模和动画制作的人来说，完全掌握模型的每个细节非常重要。然而，扫描数据和 AI 生成模型往往会出现部件一体化，或隐藏部分不清晰的情况，导致编辑和动画化变得困难。
为了解决这一问题，VAST-AI 与香港大学共同开发了「HoloPart」。​

HoloPart: Generative 3D Part Amodal Segmentation

3D 部件的非显式分割——即使存在遮挡，也将 3D 形状分解为完整且具有语义意义的部件——是 3D 内容创作与理解中一项困难但极其重要的任务。现有的 3D 部件分割方法只会识别可见的表面片段，其实用性有限。我们受 2D 非显式分割启发，将这一新任务引入 3D 领域，并提出一种实用的两阶段方法，以应对推理被遮挡的 3D 形状、保持整体形状一致性以及在有限训练数据下处理多样化形状等主要挑战。首先，利用现有的 3D 部件分割获得初始的不完整部件分段。然后，导入一种新的基于扩散模型的 PartComp 来将这些分段补全为完整的 3D 部件。PartComp 利用了特殊架构，其中包含用于捕捉细粒度部件形状的局部注意力，以及用于确保整体形状一致性的全局形状上下文注意力。我们基于 ABO 和 PartObjaverse-Tiny 数据集介绍了新的基准，并证明 PartComp 大幅优于最先进的形状补全方法。将 PartComp 集成到现有分割方法中后，可以在 3D 部件的非显式分割方面取得有前景的结果，并为形状编辑、动画和材料分配的应用开辟新的道路。

使用 HoloPart 可拓展的可能性

• 部件编辑：​可轻松选择椅子腿、眼镜框等特定部件，并进行移动或大小调整
• 材质应用：​可为每个部件应用不同的材质和纹理
• 动画化：​由于具有完整的部件结构，绑定和动画制作将更容易
• 几何处理：​可按部件单位高效进行重网格化及其他几何处理

AI 生成网格正迈向下一个阶段呢。今年这种技术感觉会不断涌现。
还有 DEMO 页面，似乎可以试用。详情请查看项目页面！

链接

Github

项目页面

Demo（Hugging Face）

告知文章