曾经想要一个自己的全尺寸电影院吗?一款与Oculus Rift兼容的新项目承诺会实现你的愿望,而且还会更多。我们采访了一位名为Christer-Andre Fagerslett(也称为namielus)的新“虚拟电影院”项目的作者,该项目利用Rift的沉浸力,旨在提供最终的电影观影体验。
使用Oculus Rift观看虚拟现实电影
询问一个虚拟现实爱好者对虚拟现实的期望,你会发现结果列表上有很多奇幻的世界和超凡的体验。然而,一旦3D头戴显示器变得普遍,更普通的地方和活动可能会被虚拟现实的替代品取代。
对于一个有效的3D头戴显示器(如Oculus Rift)的一个较少被讨论的可能用途是使用它来以无幽灵、高视场角的3D形式观看你最喜爱的电影,模拟身临其境地在你当地多厅院线的大屏幕旁的感觉。索尼最近提供的“HMZ”产品系列,即设计专门用于高清媒体消费的高分辨率头戴显示器,显然就是为实现这一目标而推出的。
但是,如果将对重现电影院体验的追求推向其逻辑极限会怎么样呢?Christer-Andre针对Oculus Rift的自制应用程序不仅试图欺骗你的大脑,使你相信自己正在享受一流电影体验,完全实现了虚拟影院,还模拟了能让看电影成为一种“独特”体验的人类因素。
为了更多地了解这个项目的承诺及其未来应用,我与Christer-Andre进行了交流,听取了他的想法:
Christer-Andre:我的名字是Christer-Andre Fagerslett(是的,我知道我的姓在英语中很好笑)。我在一个视频中看到了索尼HMZ-T1用于《天际》的情景,觉得很棒,开始寻找相关信息。然后无意中发现了Palmer Luckey的项目,那可能是在2012年8月。我不记得我是在哪里第一次尝试了Rift,但是现在我自己拥有了DIY版本,全职为其开发内容。
RtoVR:显然你是一位虚拟现实爱好者。是什么让你对虚拟现实感兴趣?你是Oculus Rift的Kickstarter支持者吗?
Christer-Andre:是的,我是一个Kickstarter支持者。我是八十年代的孩子,长大后觉得虚拟现实在不久的将来就会实现。电视上有《VR5》,《割草人》等各种以虚拟现实为主题的游戏节目。还有像VirtualBoy(任天堂)和Powerglove(任天堂NES)之类的东西。这些东西在概念上很酷,但实际上并没有真正实现。
我爱上了身临其境地进入游戏中,成为任何我想成为的人,无论我想去哪里。随着年龄的增长,我对虚拟现实的兴趣和希望逐渐消退,成为一个渐行渐远的记忆。直到现在。
RtoVR:你是一名程序员还是只是一个业余爱好者?
Christer-Andre:我不认为自己是哪个,我在实践中学习编程-肯定需要雇佣一个更能胜任的人。对我来说,弄明白一行代码需要时间,而我在短时间内学到了很多新东西,所以我经常不得不再一次弄清楚同样的一行代码。
我之所以独自做这一切的唯一原因是直到现在我别无选择。编程真的不适合我,它让我头痛。我更喜欢作为一个概念设计师、3D建模者和“创意人”来工作。
RtoVR:你认为虚拟现实将如何改变我们消费媒体的方式?
Christer-Andre:它将重新吸引并集中我们的注意力。目前人们在看电影的同时还会在手机上检查Facebook,分散注意力于多媒体。当你身临其境时,艺术家可以夺回控制权。这是具有讽刺意味的,因为头戴显示器让你眼前一黑,让你进入一个纯数字世界的视角,实际上,如果在真实的教室中给每个学生都戴上VR头显,你将能更好地控制他们的注意力。也就是说,要做其他事情,他们必须摘下头显。
此外,我认为现在是对3D建模师的工作真正欣赏但也更严格审查的时候。尤其是在实现了位置跟踪的目标时,你会发现有人会对3D建模师的工作产生更高的期望和关注。他们跪在游戏中,低头观看小花和细节。
永别了,追求简单的精灵游戏!
RtoVR:告诉我们一些关于你的Oculus Rift虚拟电影项目的情况——你的目标是什么,目的是什么(还是只是为了好玩)?
Christer-Andre:我只是在尝试一个虚拟休息室的概念(仍在进行中)。我在2012年9月3日在MTBS3D上开了一个关于它的主题。
当时我从未写过一行代码,也从未真正尝试过Unity。我只是在制作3D模型,并在Indigo Renderer中渲染它们。
随着兴趣和反馈的增长,我意识到这真的有潜力。此后,一些大牌公司与我联系并表示了兴趣。
这是一次陡峭的学习曲线。我一直在研究不同的脚本,修改它们并且摸索出支持Rift值得展示的程度。我有信心在发布时能够有一个Alpha演示,但一旦SDK发布,我可能会移除所有简单的脚本,并使用由Oculus提供的工具。
我发现,除非有值得展示的演示,否则没有人会愿意加入我的团队。作为一个独立的电影概念变得最受欢迎,所以我想以此作为我进一步目标的一步。现在的情况是,人们对我的项目很感兴趣,并且我有一小部分资金支持。
下一步是在Kickstarter上尝试,争取对我的虚拟电影和一些很酷的众筹目标感兴趣。
RtoVR:为开发使用的平台/引擎/工具是什么,为什么选择它们?
Christer-Andre:我起初使用的是虚幻引擎,但在编解码器/容器支持方面遇到了严重限制。我只能播放bink文件,仅此而已。我雇佣的人,无法实现头部跟踪,左右视差被挤压得很厉害,这对我来说只是浪费金钱。很可惜。
然后我决定选择Unity3D,它已经有了更广泛的支持,但需要一些额外的脚本才能在游戏内直接浏览您的驱动器中的文件。
我使用TrackIR5进行头部跟踪(仅限于模拟Rift跟踪的位置跟踪)。然而,由于我正在帮助另一家游戏公司准备在GDC上展示他们的Rift游戏,我已经出于必要性订购了一款hillcrest追踪器。
此外,renderheads将为您提供更好的编解码器支持。
RtoVR:该项目不仅限于在虚拟礼堂观看电影。请告诉我们更多关于互动元素(例如嘲讽)的信息。
Christer-Andre:语音聊天是必须的,通过Kinect、Leap Motion或类似设备进行的手势跟踪是一个重要目标。我希望能够做一些记录人的评论和手势的事情,然后让您将其发送给朋友,这样他可以在观众席上观看带有您抱怨的电影。甚至可以让您将其分享给公众。我正在研究各种方法/软件进行摄影测量,以便您可以拍摄照片或视频,得到一个看起来逼真的带有纹理的自身3D模型作为头像。
虚拟休息室的初步渲染。
除此之外,还将有一个独立的虚拟电影院,可以视为媒体播放器,但我还在建造一个更大的建筑物,其中还包括博物馆和游乐场、办公楼等。
目前,我正在制作一个VR博物馆,您可以在其中四处走动,观看从70年代到现在不同的VR设备。
一个担心是许可问题。这是我游戏厅的一个非常早期的预先渲染图,自那以后,我已经添加了成百上千台街机。我希望通过MAME将每个游戏流式传输到各个街机上。面对这么多大型公司的压力,这将是一个挑战。
此外,我们在Kickstarter上的奖励层次之一是在我的虚拟建筑物中拥有一个永久房间,您可以在其中随心所欲地进行草图绘制,我们将将其制作成3D模型。这将成为一种很酷的营销方式,对用户来说完全是可选的。没有侵入性。如果您想走进房间,看看他们在那里有什么,那就可以。如果不想,就继续前进吧。
这是非常初步的渲染,展示了整个建筑的概念。虽然有噪音,也不够精细,但我喜欢它,因为它展示了一切是如何开始的。你可以看到里面的电影院,但请让我强调,那将是一个独立的电影院,有多个主题,不是那个建筑的一部分。
RtoVR: 在虚拟世界中如何映射视频?在视频编解码器、比特率、容器(如MKV / AVI等)或分辨率方面有技术限制吗?
Christer-Andre:限制只在于你的硬件。假设消费者的头显具有值得尝试的分辨率,你可以超过1080p。然而,目前这还涉及将视频流式传输到游戏中的纹理上。如果分辨率/比特率很高,这会给中央处理器带来很大负荷。如果你的电脑难以播放高比特率的1080p视频,请不要考虑在我的虚拟电影院中播放。暂时来说,你可以播放媒体播放器能够播放的任何容器、编解码器和比特率。如果有足够快的捕捉设备,你甚至可以通过纹理连接NES、Atari、Sega等设备,并将其在大屏幕上显示。通过输入URL进行视频流式传输也可行,所以我的希望是能支持类似于GOMTV、Ustream等流媒体服务的直播游戏。屏幕本身对立体3D视频的支持有限。我的希望是通过插入光盘来支持蓝光3D播放,以实现那种在3D电影中的突出效果。当整个视野处于立体3D状态时,效果更加微妙和自然,就像现实生活一样,这当然是件好事。然而,有些人似乎缺少这种突出效果。要以与电影相同的方式提供这种效果,就要有一个可以突出的参考框架,与“真实世界”相关。在这种情况下,真实世界是虚拟电影院,参考框架是虚拟屏幕。但这样做会让观看3D电影更接近你对其习惯的方式。根据理论上的DirectShow,我可以直接将整个桌面流式传输到纹理上。然而,这方式不灵活也不理想。如果你想要桌面流式传输,可以考虑使用IBEX等软件。甚至可以使用Gmod。我正在开发一个时尚、直观的用户界面,专门设计为游戏内媒体播放器。我相信我们可以让模拟器流畅运行,比如MAME等。现在只剩下将所有这些与一个美观直观的图形用户界面相结合了。
RtoVR: 你计划如何处理环绕立体声?电影声音对应位置和头部旋转相关?
Christer-Andre: 目前,我还没有花太多精力在这个方面。不论你转向哪里,声音都是一样的。然而,我刚刚联系上一位负责在Unity中创建/实现/优化游戏音频的人。希望向该公司投入资金能给我一些喘息的空间。至少他们应该能给我提供一些建议,告诉我应该雇佣哪些人来处理这些事情。此外,我希望能够在虚拟空间中将每个环绕声道放置在它们在现实世界中应该出现的位置。据我所知,只要音频监听器随相机旋转,你就可以将扬声器放在一个7.1环绕声设置中,并将每个声道输出到正确的扬声器上。这样,从虚拟屏幕转过头,能得到与现实世界相同的效果。
RtoVR: 你提到你将此项目视为“多人游戏”,即人们可以加入你的虚拟电影院。你认为这在未来会成为更多人的常态吗?你认为该功能将如何发展?
Christer-Andre: 这是我项目中最基本的一部分,至于未来,我计划将其扩展得更广泛。我计划使用比较昂贵的动作捕捉设备,比如Naturalpoint Optitrack或类似的设备。或者使用Kinect 2.0,如果它足够快的话。这样我就可以从少数几个人那里捕捉到全身动作和手势,而大多数观众则使用成本低廉的Oculus头显。只有头部跟踪的Rift。
基本上,你可以做任何事情,从一场讲座(老师在观众上方操作巨大的3D模型)到一场摇滚音乐会,你可以实时观看,然后从任何角度重放。
如果听起来很复杂,但是使用当前的技术是完全可行的。内容提供者(学校、企业等)租用或购买一个更强大/昂贵的动作捕捉装置,并将这些内容传递给使用Oculus Rift的用户。
眼神交流是一件很有力量的事情,通过高清图形来考虑这一点开始变得有道理了。想象一下老师和他的学生们交谈时,能够与每个学生保持眼神交流(在合理范围内)。这可能进一步影响你对所说内容的关注程度。
如果我们能将Leap Motion安装在头盔上或用户的胸前,以实现手臂/手部跟踪,那么可负担的VR的潜力将会爆发。而且这很快就会实现。
感谢Christer-Andre抽出时间并提供了独家视频,你可以在他的YouTube频道上了解更多他的工作并与他取得联系。