在三星2014年的开发者大会上,梦工厂动画公司技术产品开发负责人沃伦·梅奥斯发表了关于该公司在Oculus Rift和Gear VR上进行虚拟现实初始工作的演讲。尽管他们制作了几个实时虚拟现实体验,但该工作室的主要业务是高保真度预渲染的计算机生成图像。那么如何将这种高质量带入虚拟现实中呢?其中一种方法可能是预渲染的360度3D计算机生成图像,该公司称之为“超级电影”。
实时渲染与预渲染的对比
让我们谈一谈计算机图形学。重要的是要了解实时渲染和预渲染内容的区别,如果你已经了解这个区别,请跳过这一部分。
实时渲染通常用于交互内容,如视频游戏;由于玩家可以选择移动和观察任何方向,游戏必须逐帧绘制,并根据用户的观察方向来渲染(或“计算”)每一帧的图像。但是计算机只能以有限的速度进行渲染,并且当图形变得更加复杂时,渲染速度会变慢。(可以说)为了实现流畅的运动,每秒至少应该渲染30帧(尽管虚拟现实的需求要求更高)。如果速度比这个慢,你就会看到更像是幻灯片而不是流畅视频。
如今的计算机生成图像,尤其是在电影界,非常复杂,计算机无法以每秒30帧的速度进行渲染;有些情况下,每小时为单位更准确。例如,《变形金刚》(2007)的计算机生成图像非常复杂,以至于在某些情况下,渲染一帧需要38个小时,导演迈克尔·贝(Michael Bay)说道。
幸运的是,由于电影没有用户输入,因此每次观看时视角都是相同的,计算机生成的图像可以提前渲染,这就是所谓的“预渲染”。尽管每一帧可能需要几分钟到几小时的时间来渲染,但它们本质上被保存为静止的照片,然后可以编译成视频,并在事后按照所需的流畅帧速率进行播放。
对于像梦工厂动画这样主要制作预渲染计算机生成图像电影的公司来说,支持虚拟现实中的头部跟踪,并保持公司以其高高保真度而闻名的视觉效果,是一个挑战。由于存在头部跟踪的用户视点控制,常规的预渲染方法是不可行的,因为无法确定用户想要看哪个方向,从而无法生成相应的帧。
跨越这个障碍的一个选择是预渲染360度3D帧,然后将它们投射到用户周围的虚拟球体上,从而实现头部跟踪的互动性,这在虚拟现实中非常重要,而不需要每个观众都拥有一个超级计算机来实时渲染这些复杂的场景。例如,InnerspaceVR正在使用CryEngine创建此类体验,并将其预渲染以在像Gear VR这样的低端硬件上播放。
梦工厂动画公司的虚拟现实“超级电影”格式
梦工厂动画公司的技术产品开发负责人沃伦·梅奥斯在2014年SDC上的台上表示,该公司的确在尝试这种技术。
“我们正在开发一种我们称之为超级电影的系统,这是一种将我们电影的高质量元素传递给用户的新360度沉浸式体验,”梅奥斯在会议第二天的主题演讲中告诉观众。他甚至分享了一段来自该公司《驯龙高手》系列的“超级电影”场景的简短片段。
请参阅:梦工厂动画技术产品开发负责人的5个新虚拟现实开发者见解
上面的视频看起来有点奇怪,因为整个360度帧被投影到2D显示器上。实际播放时,视频会在虚拟球体上拉伸,观众位于其内部,可以在场景周围的任何方向上观察。而且,这种方法还可以在缺乏桌面级计算能力的低端硬件上实现虚拟现实体验。例如,InnerspaceVR正在使用CryEngine创建此类体验,并将其预渲染以在像Gear VR这样的低端硬件上播放。这项技术通过预渲染实现了更高保真度的图形,但并非没有任何代价。我要明确的是,我将要提到的问题适用于所有形式的360度VR镜头,而不仅仅是梦工厂的实施。
首先,与标准电影发行相比,Super Cinema电影的文件大小可能会很大。一个标准的Blu-ray版本通常渲染一个相对较小的1920×1080分辨率的镜头,而一个360度的镜头为了在拉伸到观众周围后保持图像质量,分辨率必须多倍于此。这可以通过压缩和流媒体技术来解决,但在不降低DreamWorks电影所期望的锐利视觉效果的情况下,能做的事情是有限的。
据我了解,Super Cinema也必然缺乏位置跟踪(跟踪用户在3D空间中的头部移动)。位置跟踪对于虚拟现实的舒适度和沉浸感都很重要。适当的位置跟踪需要实时场景,可以根据用户的头部移动重新绘制几何图形。例如,如果你向一个敞开的门道倾斜,你期望能够透过门看到里面。但是在预渲染的镜头中,这是不可能的。
出于同样的原因,人眼间距(IPD)可能是Super Cinema的一个问题。IPD定义了一个人眼睛之间的距离。这个值在一定范围内因人而异,对于舒适的VR体验,为每个人的IPD调整内容是很重要的。在实时渲染中,修复很简单:只需更改捕捉每只眼睛的虚拟摄像机之间的距离。然而,在预渲染的场景中,一切都用一个相同的IPD捕捉。
的确,针对平均IPD可能对大多数人都有效,但对于IPD非常小或非常大的异常值,所产生的内容可能对他们的眼睛很不舒服。梦工厂也许可以通过他们的渲染技术轻松地渲染一个总体影片,然后(相对)快速地渲染一些适用于不同IPD的变体,但我怀疑他们是否想要把最终用户体验搞得像测量自己的IPD那样复杂!
我们将拭目以待梦工厂和其他公司如何处理这些问题。
继续阅读第2页…
梦工厂动画的VR场外体验
尽管梦工厂正在尝试实时和预渲染的家庭消费体验,他们也在探索所谓的“场外”娱乐领域;这些体验是在消费者住所以外的地方发现的。
例如,梅约斯表示,与迪士尼类似,梦工厂正在致力于将VR体验带到公司即将推出的主题公园,这个主题公园将被称为——你猜对了——DreamPark。这里的细节不多,但可能会采用一种不仅仅刺激视听感官的吸引力;运动可能会成为其中的一个重要组成部分。这甚至可能需要专有的头戴显示器,原因在一篇由凯文·威廉姆斯撰写的精彩客座文章中有所说明。
除了主题公园,梦工厂还在研发更便携(可能是促销/营销类)的体验,被称为“DreamHouse”。梅约斯在SDC暗示该公司正在开发一个“零售体验”,将于今年假期在美国的八个购物中心推出。目前还没有关于这个体验的详细信息,但我猜测它可能是为即将发布的《马达加斯加的企鹅》做的一个宣传体验。
能看到大型制片公司通过自己的项目证明虚拟现实的力量是很棒的。早期在虚拟现实领域取得成功是否将为梦工厂动画提供不同于竞争对手皮克斯的独特优势?只有时间能告诉我们,但我无法想象皮克斯会在这个领域中闲置太久。