Lytro今天公布了将公司在“静态”光场摄影领域的专业知识应用于VR电影的计划。该公司已经开发出一种可扩展的从拍摄、处理、编辑到渲染的全方位解决方案，用于拍摄下一代360度视频画面，观众可以实时在捕捉的场景中移动。

可以说，Lytro的技术已经等待世界其他地方追赶近十年了。该公司成立于2006年，当时的CEO伍仁创立了公司，并在2012年推出了他们的第一款数码相机。该设备允许用户在拍摄后对其进行重新对焦，这是一款利用光场技术的数码相机。去年，该公司推出了面向专业摄影市场的Illum系列相机。

在得到5000万美元的健康投资之后，Lytro现在开发出了一个完整的系统、服务和硬件套件，利用VR的近期复苏。Immerge是这个解决方案的名称，它承诺提供无需拼接的专业级、高分辨率、高帧率的立体3D 360度视频捕捉。

事实证明，光场技术非常适用于虚拟现实电影。因此，似乎经过十年的推崇，世界其他地方终于追赶上了Lytro的愿景。

对光场的介绍
光场摄影与传统摄影的区别在于它捕获了更多有关光线通过其体积（即镜头或传感器）的信息。传统的数码相机会在光线击中传感器时将其静态地完全捕捉在二维平面上，而光场相机会捕捉关于光线方向和距离的数据。

实际上，当光场相机捕捉到光线通过其体积（相机传感器的大小）时的所有信息后，您可以对该场景进行任意级别的重新对焦（在一定限度内）。如果将相机的体积放大到足够大，您将有足够的关于该场景的信息，可以在视图内进行位置跟踪；也就是说，您可以在捕捉的场景中向左或向右、向上或向下调整视角，让您可以”窥视”场景中的物体背后。

如果您理解起来有些困难，我不怪您。对于大多数人（包括我自己），这项技术本质上仍然是”魔法”。然而，我怀疑（对于所有虚拟现实的事物）一旦每个人看到其结果，其潜力就会立即为大家所认可。

电影级360度光场视频
就像”静态”的光场捕捉本身已经难以置信一样，Lytro现在宣布迈出了一大进步。他们开发出了一款能够以立体3D和360度捕捉运动中的光场的相机。Lytro的新型Immerge相机具有可堆叠的光场传感器阵列，可以以足够快的速率从半米的水平体积内的各个角度吸入光线，以生成高分辨率、高帧率的数据，然后利用这些数据创建沉浸式视频。通过与适当的硬件（例如定位追踪的VR头盔）结合，用户在这种电影体验中可以自由移动，拥有六度自由度。这不仅可以创造更加沉浸式的观影体验，还可以与在虚拟现实中观看的固定线性360度影片相比，提高用户舒适度。

然而，将其应用于虚拟现实后，这项技术的好处不仅限于位置跟踪。因为Immerge以数据形式捕捉光线穿过相机体积的过程，所以光线不受任何聚焦光学镜头约束，如传统设备一样。这意味着，视野和IPD等因素可以根据每个用户和VR头盔自由配置，都是根据一组已捕捉数据进行的。考虑到现有多摄像头360度阵列所带来的困难（固定镜头、固定视野、固定立体视差），这些好处本身就是巨大的可能。VR视频作为一种媒介。
流程

Immerge并不只是一台相机。它描述了由Lytro开发的一套工具和硬件，用来捕捉和利用新相机能够捕捉到的大量详细信息。
高强度的数据捕捉实际上是Immerge的致命缺点。为了解决这个问题，Lytro开发了Immerge Server，这是一个强大的、与光纤连接的存储阵列，能够在将数据导出到其他地方之前存储一小时的“拍摄”数据。该服务器包括密集的高速存储和处理能力，可以预览存储在其中的图像数据。由于高带宽的PCI-E over fiber连接，服务器可以距相机约150米，这在捕捉电影场景的所有角度时非常重要。
导演可以使用平板电脑软件完全控制整个过程，该软件与服务器通过无线通信，使他们能够从远程观察点预览素材并控制相机动作。

一旦数据从服务器上载，Immerge光场数据捕捉系统的真正优势就开始发挥作用了。因为Immerge捕捉到了三维数据，所以“素材”可以被放入像Nuke这样的VFX软件包中，与真实摄影场景一起准确地放置CG元素。
对于“标准”编辑，Lytro正在为像Final Cut和Adobe Premiere这样备受欢迎的工具开发插件。这些插件允许编辑人员渲染捕捉到的数据，并保留光场提供的使用灵活性。
体验结果
所有这些都很不错，但如果没有人能够体验到结果，所有这些令人印象深刻的技术都没有太多用处。
因此，Lytro Immerge流程的最后一环是可以从云端流式传输编辑好的360度光场素材的播放器。最初的目标是明年发布的高端（也就是桌面级别的）VR头显。这个“交互式光场视频播放引擎”并不仅仅是一个播放器。借助预测算法，本地应用程序将缓冲一定量的光场数据，以应对观众不同的头部运动选择。只有视野内的区域将被渲染，加上必要的额外渲染以应对快速头部动作。
当然，当用户进行完全不可预料的操作时，比如瞬间进行360度旋转，这种播放方式就无法帮助。在这种情况下，将向观众呈现一个低分辨率的球面视图，以便让流式数据追赶上去，再次呈现完整分辨率的光场展示。

当然，这些头显是有位置跟踪的，所以理论上来说，观众可以在电影体验中利用六个运动自由度，只要他们在原始相机的拍摄范围内。这意味着至少对于坐姿的体验来说，Immerge的相机阵列的大小应该足够大，可以让大多数用户进行视差移动。
Lytro坦言，这段流程的后续工作还有待完善，但Lytro首席执行官Jason Rosenthal向我保证，这个播放器可以在像Gear VR这样低功耗的硬件上运行。
当然，像网络带宽和延迟这样的挑战，在通过变量数据传输播放从网络流式传输的内容时都是问题。因此，任何呈现Immerge素材的设备上可能需要有一定缓冲的预加载数据。

实际操作和费用
当然，所有这些尖端硬件和软件都是有成本的，Lytro承认，要获得上面详细介绍的设备并不便宜。因此，该公司计划提供一套设备，从相机到服务器，根据租赁预算进行配置。

其实Immerge相机设计时就考虑了这一点。每个水平传感器阵列“切片”都是可拆卸的，减轻了重量，但也以保真度和相机体积为代价。所以除了减少重量，它也减少了成本。这是理论。当然，Lytro目前没有公布具体的数据。这项技术在目前阶段对于微预算的电影制作人来说可能还无法触及。

何时？
Lytro的首席执行官Jason Rosenthal向我保证，该公司计划在2016年上半年将市场面上，即允许人们在第一代头显上查看360度光场视频。该公司正在进行测试拍摄工作，拥有内容合作伙伴（详见下文），计划开始使用他们的设备进行拍摄。

最终，一切归结于内容。
是的，Lytro深知这一点。幸运的是，一些最优秀的沉浸式电影先驱已经加入其中。而且，由于目前360度相机技术的限制和挫折，说服他们并不困难。
Lytro请求一些领域中的最佳人士使用Immerge平台创建内容。Felix & Paul，Vrse和WEVR将获得早期接触这项技术的机会，以利用光场技术创造新的电影作品。对于WEVR的执行副总裁Anthony Batt来说，这是时候啦。

“从创意角度上，我们正在通过制作大量的深度虚拟现实视频来锻炼，其中涉及实景视频、电脑生成影像并进行混合合成。”Batt说道。“我们正在找到所有的痛点。相机系统是一个痛点，后期制作是一个痛点，因为这都是线性视频，分发和播放也是一个痛点。因此，将内容放到一个系统中是非常棘手的。我们仍然在使用旧工具来应对新媒体。”
很遗憾，目前还没有可观看的内容，但我被告知这很快会有所改变。

未来
想象一下如果你最喜欢的电影是使用光场技术拍摄的。想象一下不断观看《星球大战》，从不同的角度观看，以至于每一次观看都与上次不同。能够在电影场景中移动不仅可能减少晕动感，还能让你感觉像是在与演员一起进行的现场设定中，这是实现了旧有的3D电影广告陈词滥调的现实。

“虚拟现实是电影内容的下一个浪潮，而沉浸式叙事者一直在寻找能够完全实现他们创造力的技术，”Lytro的首席执行官Jason Rosenthal说。“我们相信光场技术的力量将帮助虚拟现实创作者实现这种新媒体的承诺。Lytro Immerge是一个全方位的光场解决方案，将提供捕捉、处理、编辑和播放专业级电影内容所需的所有硬件、软件和服务。”

毫无疑问，360度光场摄影满足了目前电影制作人在创作VR方面的许多抱怨。其极大的灵活性也使其非常适合扩大VR电影的范围，并简化潜在非常棘手的VFX合成过程。更不用说对观众来说的好处了，每个用户和硬件的视野和IPD可能都是通用的。

然而，尽管光场技术明显与传统电影制作不同，但最终成果的交付仍然具有挑战性。如果解决方案是通过云渲染和流媒体传输，那么你需要非常强大的带宽才能享受高质量的体验。但是通过本地数据缓冲和一些聪明的预测渲染，似乎这些挑战也是可以克服的。

然而，如果Lytro能够实现他们所讨论的一切，Immerge系统的广度和技术能力足以使他们在提供真正可行的VR视频流程的竞争中处于领先地位。