(
映维网Nweon
2023年03月20日
)你可能通过视频看过NeRF,但实际上,你可以把它们带到VR头显,并通过控制器进行移动,从而体验进一步的沉浸感。
当然,目前只有一种方法可以通过VR头显(
英伟达
的Instant-NGP app for Windows)查看NeRF体验。但由于NeRF技术可以快速地使用逼真虚拟对象填充元宇宙,这种情况在未来可能会发生改变。
什么是NeRF?
NeRF神经辐射场是一种面向三维隐式空间建模的深度学习模型,并主要用于Novel View Synthesis新视角合成。它们可以在场景中的任何一点重建光线的样貌,使得在VR中穿行神经辐射场成为可能,令你有一种仿如置身其中的感觉。
创建NeRF:从Instant-NGP开始
首先,你需要一个支持
OpenXR
的VR或AR头显,以及一台支持下列英伟达显卡的Windows PC:
然后,请按照以下步骤测试Instant NGP:
通过视频创建自己的NeRF
如果您可以使用iPhone,
Record3D
应用程序可以更轻松地捕获视频,以及创建NeRF所需的camera路径数据。遗憾的是,它没有Android版本。
在iPhone安装Record3D应用程序后,将你希望在VR中查看的对象的视频录制为NeRF。最好缓慢移动,并将目标对象保持在取景器的中心。导出为R3D文件并将其传输到计算机。
其余过程在计算机上进行:
裁剪并居中NeRF视图
NeRFs通常边缘看起来模糊。你可以对其进行裁剪。这同时可以将你想在VR中看到的对象居中。另外,裁剪可以提高性能,所以如果你发现帧速率太低,这是一个有用的选择。
以下是如何在Instant NGP中裁剪NeRF:
裁剪、居中和旋转后,你应该可以在屏幕看到NeRF。
查看VR中的Instant NGP NeRF
如果你觉得电脑屏幕显示的效果可以,这时你可以在VR中进行浏览:
如果你在VR头显中什么都看不到,可能是没有设置为默认OpenXR设备。在大多数情况下,你可以在
Steam
VR或PC端的
Oculus
应用程序中选择OpenXR设备。
Quest
2和Quest Pro,以及大多数支持SteamVR和WMR头显都兼容。
使用图像生成NeRF
你同时可以使用照片创建NeRF,这允许对用于训练模型的图像进行更多控制。由于需要安装多个软件包,所以这个方法更为复杂,更多操作是在Windows命令提示符中完成。
具体教程请访问
The Decoder
,他们介绍了根据图像创建NeRF的无代码方法。
无论你使用哪种方法创建NeRF,如果可能,你都应该在VR头显中查看,并体验一种身临其境的感受。
0