3D Gaussian Splatting for Real-Time Radiance Field Rendering

3 年前 3dnchu 尚无浏览 2 分钟阅读

3D Gaussian Splatting for Real-Time Radiance Field Rendering – 从多张照片和视频构建3D场景的技术！比NeRF更高质量而引发热议的新 Radiance Field 方法！SIGGRAPH 2023！

由 Inria、马克斯·普朗克信息学研究所、蔚蓝海岸大学的研究者们提出的、不同于 NeRF（Neural Radiance Fields）的 Radiance Field 技术「3D Gaussian Splatting for Real-Time Radiance Field Rendering」已发布并引发关注。

辐射场方法近年来革新了由多张照片和视频拍摄的场景的新视角合成。然而，为了达到高视觉质量，训练和渲染仍然需要成本高昂的神经网络。对于渲染完整的无边界场景（而非孤立物体）且分辨率为 1080p 时，现有方法无法达到实时显示帧率。我们通过引入三个关键要素，在保持有竞争力训练时间的同时实现最先进的视觉质量，并支持在 1080p 分辨率下进行高质量实时（>= 30fps）的新视角合成。第一，从相机标定时生成的稀疏点出发，使用 3D 高斯来表示场景，在保留连续体积辐射场所需特性的同时，避免在空空间中的不必要计算。第二，对 3D 高斯进行交错优化／密度控制，特别是优化各向异性协方差，以实现对场景的精确表达。第三，开发了支持各向异性 splatting 的快速可见性感知渲染算法，既能加速训练，也能实现实时渲染。我们在多个成熟数据集上展示了最先进的视觉质量与实时渲染能力。

将模型 3D 化并与 NeRF 对比的视频

已经开始尝试的人们

来自 @nerfstudioteam viewer 的 gaussian splat 视频渲染！这只花了 2 分钟就渲染完成，大约比渲染 NeRF 版本快 20 倍。

使用 @insta360 RS 1″ 拍摄的巴黎 Impasse Louise-Émilie de la Tour d´Auvergne。#NeRF #gaussiansplatting pic.twitter.com/pG0iZabiMR

— grade eterna (@gradeeterna) 2023年9月1日

终于把 #gaussiansplatting 跑起来了！我对它很好地捕捉到运动鞋面料、鞋带以及文字的细节印象非常深刻。这是用我在 24mm 镜头下拍摄的 75 张 DSLR 照片生成的，在 RTX 3090 上处理大约花了 30 分钟，并且是…… pic.twitter.com/NsKM5JbwDH

— CoffeeVectors (@CoffeeVectors) 2023年9月3日

终于尝试了一个大型场景，使用的是 ‘3D Gaussian Splatting for Real-Time Radiance Field Rendering’ —— Barbentane 的风车，建于 1774 年。效果很锐利。远处的细节令人印象深刻。#gaussiansplatting #radiancefield #AI #ML pic.twitter.com/PNTCO9snrw

— Hugues Bruyère (@smallfly) 2023年8月27日

我试着用自定义数据跑了一下 gaussian-splatting！！
虽然出现了黑色雾状物，但从质量上看感觉比 Nerfstudio 更好。
因为是用默认值跑的，所以感觉如果调整参数，应该会更好。#NeRF #gaussiansplatting #3DCG pic.twitter.com/1SLgzxeUru

— Aster@NeRFを広める人 (@Aster_NeRF) 2023年8月30日

Greg — 几年前我最喜欢的即兴体积人像之一，在动作捕捉舞台上拍摄。由 3D Gaussian Splatting、NeRFStudio、Blender、photogrammetry 和 Reality Capture 混合制作。#gaussiansplatting #radiancefield #AI #ML #3D #VFX #photogrammetry pic.twitter.com/mUkISe9VOA

— Hugues Bruyère (@smallfly) 2023年9月3日

导入解说（英语）

这看起来很有意思。
HoloLab 空间信息技术部的藤原龙氏已经在博客中公开了日文版的环境构建解说文章。
如果你想尝试，请务必一并查看那篇文章。

这就是下一代的自由视点视频。#GaussianSplatting

因为能跑到 60fps，所以流畅得像无人机视频。
和 NeRF 相比，清晰得多，也轻快得多。

我还把用自有照片数据生成的步骤和用法整理成了博客！https://t.co/cscf2CyHkN pic.twitter.com/btV1Oj1XIl

— 龍 lilea (@lileaLab) 2023年9月4日

硬件要求

支持 CUDA、Compute Capability 7.0+ 的 GPU
24 GB VRAM（用于论文评估质量的训练）
通过减少训练次数，也可以在较少 VRAM 的情况下运行。此外，如果在保留完整训练流程的同时使用较少内存运行，似乎需要进行细致的设置。无论哪种情况，都可能影响最终质量，请注意。

GPU 的 VRAM 要求相当大……希望今后的努力能减少所需内存。

链接

项目页面

Github

龙 lilea 氏的
环境构建解说