Arthur van Hoff,Janut VR CTO
上周,在第十届硅谷虚拟现实聚会上,Jaunt VR的CTO Arthur van Hoff分享了他们在电影级虚拟现实技术方面的技术细节。这个演讲标志着虚拟现实的一个里程碑,因为这是第一个以3D 360度高清视频录制的SVVR演讲。
你可能还记得,Jaunt VR在一个月前公开了一些初步产品细节,并宣布他们获得了680万美元的资金。今晚,公司准备分享技术细节。
捕捉
Jaunt相机设备采用了一个自定义的3D打印装配,内含14个Go Pro相机。每个相机以每秒60帧的速度捕捉到一个1080p的高清视频流。综合起来,这意味着每秒捕捉17亿个像素。
外部相机都是垂直安装的,以便在垂直方向上最大限度地扩大视野。
处理
处理这些数据自身就带来了挑战,不仅是数据量之巨大,还有需要进行的后期处理,从14个2D视频流中生成一个3D 360度图像。每个图像必须进行颜色匹配,调整增益和白平衡。需要纠正镜头畸变。然后每组图像需要进行混合和拼接。
此后处理过程使用了CUDA(使用图形卡的nVidia并行计算平台)进行加速,但目前每秒视频的渲染时间大约需要20秒才能完全生成3D 360度视频。当然,这个时间会随着时间的推移而改善。
生成的视频采用H.264编码,具有球形立体布局。当被问及具体格式是否是Jaunt自有的时候,Van Hoff回答肯定,并解释说这是必然的,因为目前没有其他能力的格式。他接着表示他们愿意与其他公司合作制定一个标准格式。
以每只眼睛的4K分辨率为目标(并且已经收集到足够的数据以生成每只眼睛8K的分辨率),眼前的质量瓶颈明显是显示屏。
制作
原始视频仍然需要通过编辑来打磨成良好的电影体验,Jaunt的目标是让专业人士能够使用他们平常使用的现有工具来添加剪辑、过渡和特效,进行色彩校正等。此外,音频需要定位到场景中的适当位置。Jaunt使用全向声录制来捕捉音频,然后必须在场景中映射它的位置。Jaunt播放器会根据观众转动头部的方向来自动转换音频声源的位置。
通过使用行业标准工具,提高了技术培训的额外量,加速了愿意采用Jaunt解决方案的人们的接受程度。
然而,这仍然没有解决制作360度内容时的其他考虑因素。没有“摄影机后方”,那么摄制团队应该放在哪里?如何指示观众哪个方向去看,以免错过一个关键事件,比如在他们的身后发生的事情?由于在移动摄影机时很容易引发虚拟现实晕眩,如何调整叙事过程?这些制作上的挑战需要通过实践来解决。
迄今为止,该公司对于内容何时可以向大众提供仍然守口如瓶。虚拟现实观众将可以在Oculus Rift上观看,当然,Jaunt还表示他们也会支持其他头戴显示设备。一个iOS观众将提供一个“窥探世界的窗口”,您可以通过旋转您的iPad在场景中四处观察,类似于Occipital在他们的静态图片360度应用程序中所做的。他们最初会推出5分钟的短片体验,可能是为了向观众介绍这个媒体。
正如本文开头提到的,第十届硅谷虚拟现实聚会使用了Jaunt相机群进行了录制。一旦可以观看,我将发布一篇新文章。