去年年底我们曾经预告过这项技术，现在我们终于可以亲身体验HypeVR的体积视频捕捉技术，这使你可以在VR视频中进行移动。

360度视频的局限性
如今最具沉浸感的VR视频制作采用的是360度3D视频。如果正确执行，360度3D视频的内容在VR中会呈现出相当好的效果（可以看看Felix＆Paul工作室的一些作品）。但是，假设有一天我们能够达到视网膜质量的分辨率和几何完美的立体影像，360度3D视频的内容仍然存在一个障碍：无法在视频体验中移动。
在任何360度视频中（无论是否为3D），你的视角都被锁定在一个固定点。与实时渲染的VR游戏不同，你无法在视频中四处走动，更别说只是靠在椅子上弯腰，期望场景相应移动了。这不仅不具有沉浸感，而且不舒适；即使静止不动，我们的头部也会稍微移动，当虚拟视图与这些移动不吻合时，世界感觉不太真实，也不太舒适。
体积VR视频捕捉技术
这是HypeVR致力于开发的体积视频捕捉技术之一。其思路是不仅仅捕捉一系列的360度图片并串联在一起（就像传统的360度摄像机那样），而是为每一帧捕捉场景的体积数据，以便当播放世界时，可以利用这些信息使用户能够在视频内部进行移动。
在2017年的CES展上，我看到了HypeVR使用其巨大的捕捉设备拍摄的原始预告视频，以及与英特尔合作制作的全新、色彩更鲜明的体验。
戴上Oculus Rift头盔，我踏入了这个新场景：越南风景如画的山谷的30秒循环片段。我站在一个湖中小岛上的岩石上。岩石之外，小岛上长满了郁郁葱葱的野草，离我几码远处有一只水牛和一个农民在吃草。

在远处环绕着热带雨林植被和一系列惊人的瀑布倒流入湖中。微风掀起的水波荡漾在水面上，拍打着我这个小岛的边缘，推动着水边的野草。

它鲜活而清晰，比我通过头盔看到的几乎所有360度3D视频更具沉浸感，主要是因为我能够在视频中移动，在一个房间范围内具备适当的视差。这让我感觉自己真的站在那里，而不仅仅是我的眼睛已经被传送过去。这是我们所有人都希望在想象VR视频时体验到的，也是这个媒介未来真正引人注目的方向。

我以前曾经见过令人印象深刻的摄影测量技术VR体验，但摄影测量技术需要有人花几个小时在一个场景中，从各个角度进行拍摄，然后将所有照片编译成一个模型。结果可能很惊人，但无法捕捉到移动的物体，因为无法以足够快的速度捕捉整个场景以记录移动的物体。

HypeVR的方法不同，他们的设备固定在一个场景中，每秒捕捉60次，利用高质量的视频捕捉和深度映射LiDAR的组合。之后，从视频中提取的纹理数据与深度数据融合，每秒创建60个场景的体积数据。这意味着你将能够看到波浪滚动或汽车行驶，但仍然保持能够移动在捕捉的某个部分内。

在体积视频捕捉中，“帧”实际上是按顺序播放的实时渲染的场景的3D模型。这不仅允许观众在空间中行走，就像在VR游戏环境中一样，也是HypeVR体验如此清晰和沉浸的原因-为了VR头盔的显示，每一帧都以最优化的采样可用数据进行渲染，并具备几何无论从哪个角度看都是正确的3D（不像360 3D视频那样只有一些3D“甜点”）。这种方法也意味着没有与离视线捕捉有关的问题（正如我们经常在360度相机拍摄的镜头中所见）。
继续在第2页阅读 >>

克服限制
HypeVR如今展示了VR视频的应有面貌，但在能够用它来创建观众想要的那种电影般的VR内容之前，还需要解决一些明显的制作和分发限制。
体积阴影和平移
可以将这个理解为普通阴影：当一个物体从你身边经过，被正面照明时，由于光无法穿透物体，物体后面产生了一个阴影。阴影的位置取决于光的位置和物体的位置。
由于HypeVR使用激光雷达来捕捉场景的深度（通过将激光反射到物体上以确定它们的远近），物体会阻挡激光并投射“体积阴影”。与其形成一个黑暗区域，这些体积阴影在它们后面留下了几何图形中的洞，因为摄像机无法看到物体的背后（就像光无法照射物体的背后一样）。
如果你在确切的捕捉点完全静止不动，这一点就无所谓了，因为你永远不会看到捕捉物体后面的体积阴影。但是，由于用户可以在空间中移动，他们有可能看到那些物体的背后，从而看到体积阴影。
我看到的HypeVR内容没有体积阴影，这意味着该公司已经找到了（对于这些具体内容而言）有效的处理方法。
最简单的方法可能是在后期制作中手动修复几何图形以填补洞口。这可能相对简单（例如，在离相机几码远的地方有一个人经过），也可能非常困难（例如，在一个密集的森林中放置相机，附近的树木和植物在场景中投射各种体积阴影）。
另一种方法是在捕捉后将一个三维模型（可以通过摄影测量从现实世界中捕捉到）插入到空间中，以便一开始就没有阴影。这很容易，因为整个场景已经渲染为三维几何体，就像一个视频游戏环境一样，所以插入更多的三维对象相对来说是比较简单的。
而最后一种方法可能是体积视频捕捉未来的发展方向-将实景捕捉与重度后期制作中的CGI模型无缝结合（类似于我们今天在大片电影制作中所看到的）。
如果捕捉设备移动了，可能会进一步复杂化，因为它会导致体积阴影在场景中平移。HypeVR告诉我，他们尚未进行移动相机测试，以查看他们的技术如何处理平移。如果事实证明在拍摄时摄像机无法移动，这可能重要也可能不重要，这取决于摄影语言中移动相机的重要性；目前，许多VR的360度视频制作都是使用静态相机拍摄的。
下载大小和数据处理
HypeVR的捕捉设备使用了14台每台以6k和60 FPS进行拍摄的RED相机。每帧还捕捉到了激光雷达数据。处理和重构所有这些数据成最终形式需要时间（目前每帧大约需要6分钟，本地处理）。在所有内容被正确渲染后，体验还需要以某种方式从网络传送给用户，但每30秒的捕捉约为2GB，这将很困难。每30秒视频的2GB实际上是HypeVR不久之前的巨大改进，因为之前的30秒捕捉数据达到了惊人的5.4TB。
使HypeVR等体积捕捉技术起作用将需要更好的压缩方法来创建逼真的文件大小。更快的消费者互联网连接很可能也会在使这种类型的VR视频可流式传输方面发挥关键作用，以便可以立即开始观看而无需等待巨大的下载。
– – — – –
解决这些问题当然是具有挑战性的。就体积图像捕捉而言，对于任何新的电影制作技术来说，这都是正常的。HypeVR已经证明了可以实现引人注目的实景VR视频，并减少或消除其限制。在越来越复杂的制作中应用该技术将需要精确的指导，并可能需要开发新的技术来实现实际的制作时间和无缝的最终产品，但如果该公司的演示场景可以作为参考的话，结果可能是值得努力的。