Lytro是一家领先的光场公司,将其光场捕捉和回放技术定位为沉浸式内容的理想格式。该公司正在构建一个工具集,用于捕捉、渲染和交织合成和实景光场体验,并以每个平台所支持的最高播放质量进行传递。
在与Lytro首席执行官Jason Rosenthal在公司位于硅谷的办公室交谈时,我了解到该公司打算如何使用其技术工具集创建他所称的Lytro Reality Experience,即作为光场存储的沉浸式体验,然后根据每个消费端点的特定质量和性能能力进行传递,无论是最高端的VR头显,在VR场馆使用,还是通过智能手机观看的移动360视频。
光场是预计算的场景,可以重现在捕捉或渲染体积内的任何点的视图。简而言之,这意味着光场可以作为场景进行回放,超越实时渲染的图形能力,同时保持沉浸式6自由度位置跟踪和(在一定程度上)互动性。尽管存在一些挑战,但光场旨在将实时沉浸与预渲染VR体验的视觉质量结合起来。
Rosenthal指出,媒体革命需要具有新功能的新内容格式。他指出PDF、OpenGL、http和MPEG是媒体格式的例子,它们极大地改变了我们制作和消费信息的方式。Rosenthal表示,沉浸式媒体需要一种容积格式。
为此,Lytro一直在构建光场的完整流程,包括光场内容的捕捉/渲染、制作、传递和回放。他说,这种方法的好处在于创作者只需捕捉/渲染和制作他们的内容一次,就可以将其分发到具有不同功能的头显和平台,而不需要为每个平台重新捕捉、重新创建或重新制作内容,这是目前对于跨桌面和移动VR头显的大多数实时内容而言必须做的。
Lytro的工具集有三个主要组成部分,使这一切成为可能。首先是该公司的光场相机Immerge,可实现高质量的实景光场捕捉;我们最近在此处详细介绍了其最新进展。然后,公司的Volume Tracer软件从CG内容中渲染出合成光场。最后,公司的回放软件旨在在每个设备上实现最高保真的回放效果。
例如,创作者可以使用自己喜欢的行业标准渲染和动画工具创建一个高保真度的计算机生成图像场景,然后将该体验作为Lytro Reality Experience输出,可以在高端、低端甚至360°视频上运行,而无需根据每个设备的特定能力修改源内容,也无需放弃光线跟踪、预渲染内容的图形质量。
Lytro目前保密其工具集;该公司正在与少数选择的客户一对一合作,发布更多Lytro Reality Experiences,并鼓励任何感兴趣的人与其联系。
我已经看过这家公司最新的Lytro Reality Experiences在各种设备上的回放(例如Hallelujah),从仅适用于VR场馆的高端桌面,一直到在iPad上进行360°回放。其目标是尽力在每个设备所支持的最大程度上提升保真度和体验。在高端桌面上,通过VR头显进行观看,这意味着从光场数据集中实时生成的最高质量图像,具备6自由度的跟踪功能。对于性能较弱的计算机或移动头戴设备,同一场景将以预烘焙的3D几何图像呈现,而移动设备将以高质量的360度视频渲染,并支持高达10K分辨率——这一切都使用相同的预渲染资产。
光场的吸引力显而易见,特别适合那些希望创造超越顶级硬件实时渲染所能达到的叙事体验的创作者。然而,由于光场是预渲染的,与传统实时渲染方式相比,它们不能以同样的交互方式实现。罗森塔尔承认了这一限制,并表示Lytro即将推出与主流游戏引擎的集成,使光场和实时内容在同一体验中混合和匹配变得更加容易——这种能力为VR内容的未来开启了一些非常有趣的可能性。
此外,光场的一个持续难题是文件大小所带来的阻碍。即使是小规模的光场场景也可能包含大量数据,以至于难以通过大规模静态文件下载向客户提供体验。Lytro对这一挑战非常清楚,并一直在积极研究解决方案以减小数据大小。罗森塔尔表示,公司仍在努力控制光场文件的大小,但公司向Road to VR提供了他们当前用于各个消费终端的最新数据封包:
6DoF场景在场内每分钟0.5TB
家庭桌面终端每分钟2.7GB
平板/移动设备每分钟2.5GB
360度立体声每分钟9.8MB
以上数据都基于公司的《Hallelujah》体验,针对不同消费终端进行了优化。觉得这些数字吓人?不久前它们要高得多。此外,Lytro还透露,他们仍在开发中的“有趣工作”将能够将上述数字减少约75%。
尽管Lytro有着远大的愿景和不断增长的工具集,且一直在努力应对文件大小的问题,但目前尚无公开可见的技术演示可通过您自己的头戴设备观看。幸运的是,该公司预计将于2018年第一季度开始向公众推出其合作伙伴的首个公开Lytro Reality Experience体验。
0