介绍一种基于草图输入生成高保真3D网格的技术“MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing”。

MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing

介绍一种从草图输入生成3D网格的生成式方法MeshPad。

基于艺术化设计三角网格生成领域的最新进展，我们的方法旨在满足交互式、艺术化网格生成的需求。为此，我们将编辑分解为网格区域的“删除”和随后新网格形状的“添加”，从而实现一致的编辑。两种操作都可通过对草图图像进行简单的用户编辑来触发，便于迭代式内容创作流程，并能够构建复杂的3D网格。我们的方法基于三角形序列的网格表示，并利用大型 Transformer 模型来完成网格三角形的添加与删除。为了实现交互式编辑，我们在加性网格生成器之上引入了顶点对齐的投机预测策略。该投机器会预测与顶点对应的多个输出 token，因此可显著降低推理计算成本，加快编辑过程，使每个编辑步骤仅需数秒即可完成。

全面实验表明，MeshPad 优于最先进的草图条件网格生成方法，在 Chamfer 距离上实现了超过 22% 的网格质量提升，并且在感知评估中受到 90% 参与者的偏好。

这是很有意思的技术呢。希望 3D 工具里也能有这样的功能！
关于详细信息，请查看项目页面！（代码未公开）

链接

MeshPad: Interactive Sketch Conditioned Artistic-designed Mesh Generation and Editing