NVIDIA Research发布的、将2D影像转换为具有复杂细节的3D结构的新AI模型「Neuralangelo: High-Fidelity Neural Surface Reconstruction」已被公布并引发话题。

Neuralangelo: High-Fidelity Neural Surface Reconstruction

NVIDIA Research开发的、使用神经网络进行3D重建的新AI模型「Neuralangelo」，可将2D视频片段转换为详细的3D结构，生成建筑物、雕塑以及其他现实世界物体的逼真虚拟复制品。

正如米开朗基罗从一块大理石中雕刻出令人惊叹的逼真形象一样，Neuralangelo会生成具有复杂细节和纹理的3D结构。

它能够将屋顶瓦片、玻璃板、光滑大理石等复杂材料的质感从2D视频转换为3D资产，这一能力大大超过了传统方法。凭借这种高保真度，开发者和创作者可以更轻松地使用智能手机拍摄的视频，快速创建可用于项目的虚拟对象。

Neuralangelo是NVIDIA Research将在6月18日至22日于温哥华举行的CVPR（Computer Vision and Pattern Recognition）上发表的近30个项目之一。论文涉及姿态估计、3D重建、视频生成等主题。

神经表面重建已被证明对通过基于图像的神经渲染恢复精细3D表面非常有效。然而，当前方法在恢复真实场景的详细结构方面仍然存在困难。为了解决这一问题，我们提出了Neuralangelo，它结合了多分辨率3D哈希网格的表现力与神经表面渲染。该方法通过两个关键要素实现：(1) 通过数值梯度平滑高阶导数，(2) 通过哈希网格从粗到细的优化来控制不同层级的细节。即使没有辅助深度信息，Neuralangelo也能够从多视角图像中有效恢复高密度三维表面结构，其保真度大幅优于传统方法，并可从RGB视频捕获中实现详细的大规模场景重建。

现在网上也已经相当有话题性了，想必很多人都知道了吧。
如果用于娱乐用途，我觉得3D扫描仪可能会逐渐不再需要了。很期待代码公开！

链接

NVIDIA Blog

Neuralangelo: High-Fidelity Neural Surface Reconstruction

✨介绍 Neuralangelo✨ 一款新的#AI模型，可将来自任何设备的2D视频——从手机到无人机拍摄——转换为具有复杂细节的3D结构。

来自#NVIDIAResearch的全新成果 #CVPR2023

阅读更多：https://t.co/e75oke56tz pic.twitter.com/E8NXoZj95F

— NVIDIA AI Developer (@NVIDIAAIDev) 2023年6月1日