公开了利用 Gaussian Splatting 技术从 4 张图像生成高质量 3D 对象的技术「GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting」。

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

从极其稀疏的视图重建和渲染 3D 对象，对于促进 3D 视觉技术的应用和提升用户体验非常重要。然而，由于来自稀疏视图的图像仅包含非常有限的 3D 信息，因此存在两个关键挑战：

1）用于匹配的图像过少，难以构建多视图一致性；

2）由于视角覆盖不足，对象信息会被部分省略或被严重压缩。

为了解决这些挑战，我们提出 GaussianObject，这是一个使用高斯泼溅表示并渲染 3D 对象的框架。该框架仅用 4 张输入图像就能实现高质量渲染。我们首先引入视觉外壳和浮点移除技术，通过在初始优化过程中显式注入结构先验，帮助构建多视图一致性，从而获得粗糙的 3D 高斯表示。接着，为了补全被省略的对象信息，我们构建了一个基于扩散模型的高斯修复模型，并在其中进一步细化高斯表示。我们还设计了一种自生成策略，用于获取训练修复模型所需的图像对。我们的 GaussianObject 在包括 MipNeRF360、OmniObject3D、OpenIllumination 在内的多个困难数据集上进行了评估，能够仅从4 个视图实现强大的重建结果，并大幅超越此前的最先进方法。

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

为什么只用 4 张图像就能做到这种程度……真的很神奇的技术……
详细内容请查看项目页面和 Github 仓库。

链接

GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

GitHub