声音的VR播客
主持人介绍
我的名字是Kent Bye,欢迎收听《声音的VR播客》。在今年的Google IO大会上,谷歌在VR领域做出了重大的声明,宣布VR将通过Daydream VR头显进入所有Android手机。三星有他们的Gear VR,它是Android手机的一个子部分,特别适用于三星手机系列,但Daydream的接受度将更广,潜力可能成为最大的VR头显安装基础。
今天,我有机会与Google VR团队的Alex Fayborg坐下来,他将谈论VR设计的最佳实践、他们所做的调研和问卷调查,以及如何为Daydream VR专门开发一些移动应用程序。这就是今天《声音的VR播客》节目要讨论的内容。但首先,快速插入一下我们的赞助商广告。
赞助商广告
这是一则由Intel Core I7处理器赞助的付费广告。VR真的让我不得不买第一台高端游戏PC。因此,Intel邀请我来谈谈我的过程。我的理念是尽可能选择最佳的部件,因为我真的不想在第二代头显发布后还要担心更换组件,VR的最低规格不可避免地会在某个时候提高。
所以我在网上进行了严格的研究,查看了所有基准测试和在线评测,我发现最佳的CPU就是Intel Core I7处理器。但不要只听我的,去做自己的研究,我相信你的发现会证明I7确实是市场上最好的选择。
与Alex的采访发生在2016年7月18日至20日在旧金山举行的Casual Connect大会上。那么,接下来我们就深入探讨吧。
访谈开始
嗨,我是Alex Fayborg,我是Google VR团队的一名设计师,工作于出版和开发工程组。现在,我主要专注于VR设计的最佳实践,并帮助我们的合作伙伴为该平台构建最佳应用程序。
Casual Connect大会谈话
我们在Casual Connect大会报告了VR设计的一些最佳实践。你与现场观众分享了一些内容,能否谈谈你当时分享了哪些内容吗?
我认为,对于这个特定的人群,有些讽刺的是,来到这里解释休闲游戏在VR中可能并不那么有效。显然,任何时间基于的机制都不适用,因为用户不可能在一天中随机就戴上VR头显。我们不会看到与移动设备相同的短时间互动。我们预计每次体验的时间长达30分钟。因此,开发者需要把它当作一个全新的平台来思考。尽管它涉及到手机,但对于用户来说,环境完全不同。
VR体验的承诺
是的,我刚刚与其他人在讨论这个观点,感觉进入一个VR体验确实需要很大的承诺。一旦决定进入,你就在决定与周围环境完全隔离。我还预计这种体验更可能发生在自己家中,而不是在公交车或公共场所,因为我觉得那里的社交动态比较复杂。所以,我好奇的是,你认为人们主要是在家里体验这些VR体验,还是期待人们也会在公共场所使用这些体验?
我确实认为,目前市场上的设备,用户主要是在家里使用它们。也许有个例外,比如商务旅行者在酒店里,或者在飞机上,因为人们已经配备了颈枕,那看起来有点傻。所以,也许使用VR头显就能弥补颈枕的尴尬,全面覆盖头部。除此之外,我认为这是我们可能常见到的唯一一种公共VR使用方法。
关于VR研究
你提到谷歌已经进行了一些不同的研究,探索不同的问题并进行调查分析,你在这些研究中发现了什么结果呢?这些结果如何应用到VR设计中?
哦,很多结果真的令人鼓舞。我们发现人们会使用VR设备,体验时间基本上取决于内容质量。当人们完成一个应用程序后,或者觉得它不再有趣时,他们就会停止使用VR。这是件好事,因为这意味着开发者能够真正构建深度沉浸式的体验,用户将会非常享受这些体验。我们还发现,特别是移动VR的性别比例非常好,所以希望能够在创作的内容中更好地反映这一点。
目前关于VR应用程序的类型并没有明确的界限,这在某种程度上是开发者的一个祝福与诅咒,因为他们无法用其他平台的术语准确描述他们正在制作的东西,但这也给目前的创意带来了极大的多样性。
关于移动与舒适性的问题
在你的VR设计介绍中,确实很难不提到关于移动、运动病等许多开放性问题。你尝试传达哪些关于VR舒适度的重要信息?
这是设计体验时绝对需要考虑的事项。因为好的设计的部分是希望人们能够真正享受你的体验,而不会感到不适。但在这方面有很多选项,从用于移动的传送、到用户外围视觉的黑暗处理。如果你让用户进行移动,Daydream实验室已经进行了很多移动实验,有些非常有趣。
随着更深入的体验,比如攀爬梯子,涉及到你的一些动作,这似乎在应对运动病方面有所帮助。显然,任何涉及到更多行走的内容都将有助于减轻运动病。开发者在刚开始时会遇到这个问题,但希望我们开始看到许多最佳实践已经在应用中出现,例如《鹰之飞行》很好地处理了黑暗周围的视觉问题,许多VIVE的标题也在运动方面做了一些非常有趣的事情。因此,我认为在接下来的一年里,我们会有一套很好的选项词汇供开发者使用。
关于Daydream和控制器的设计
在谷歌IO大会提到,所有提交的Daydream VR应用程序都将需要使用3 DOF控制器。但我认为6 DOF控制器与Daydream VR的控制器之间存在显著的差异,这足以要求全新的设计模式。从你的角度来看,你是否发现了同样的趋势,认为那些已经开发出VIVE游戏的人,无法简单地直接将其移植到Daydream上?
是的,实际上就功能而言,它的表现超过了我们的最初预期。有一些有趣的功能,你可以使用加速计来实现伪6 DOF,记录加速计的数据和移动时,你可以在一定程度上让虚拟物体以六个自由度移动。当然,它不如那些通过外部光源完全追踪的设备要好。因此,有一些工作确实存在,从Vive适配到3 DOF控制器,虽然并不意味着对于某些交互没法就是完全不可能实现的。
一些交互依然是比较有用的。例如,我们一次演示中只是用激光切碎水果,这也非常实用,所以我认为在这方面有一些可能性。
开放源代码和Demo项目
在你的谈话中,你提到谷歌发布了许多不同的开放源代码Demo项目用于Daydream VR。你能否谈谈一些可用的应用程序,供人们查看,以获取一些启发和指导,帮助他们如何开发Daydream VR应用?
是的,我们首先推出的是大约一年半前的纸板设计实验室,内容涵盖了运动、注视提示、空间音频、让用户保持在场景中的方法。这些内容其实对Daydream来说依然非常重要。最近,针对控制器的兴趣,我们推出了一套名为控制器游乐场的开放源代码Demo,大约有14或15个不同游戏机制的演示,这些都可以供开发者对控制器进行实验,像打网球或物体操作以及实时战略游戏等,这都是为了证明控制器机制的有效性。你可以获取源代码,进行试验,或许围绕其构建完整游戏。
用户界面设计
在你谈到的界限运动和聚焦问题上,你有两种方式来描述。在设计VR应用程序时,你会如何考虑设定界限范围,以便在实际用户界面中放置元素?
我认为首先要考虑的问题是你的应用是坐着还是站着的体验?这没有绝对的对错,但你应当有意地确定这两者之一。显然,如果是网球游戏,你是应该站着的。但是对于坐着的体验,你需要考虑是否需要用户使用旋转椅,因为有很多场景,比如在飞机上,他们可能会坐在舒适的椅子上而不想四处旋转。如果你假设用户的活动是坐着而没有能力全方位移动,那么我们有一些视场与颈部运动的指导,确保你的体验保持在他们的舒适范围内。
关于增强现实
最近一周,关于Pokemon Go的兴趣非常之高。它有点被称为增强现实,甚至在应用中有个按钮标示AR。我认为那些致力于沉浸计算的人可能会争论实际存在的增强现实程度与实际能够扫描房间并放置物体的项目是如何不同的。但作为Nyan和我的一部分,谷歌是如何看待增强现实的文化现象的?以及VR设计者可以从Pokemon在这方面得到什么启发?关于如何设计AR可以向VR学习到什么?
最近看到Pokemon Go的热潮真的很令人振奋。他们现在实际上已不再属于谷歌,而是作为一个独立公司。不过在他们还是谷歌的一部分时,我们和他们共用一栋大楼。我对启动时感到惊讶的事情之一是,看起来用户似乎会弥补Tango的缺失。我们看到很多人会在拍摄屏幕截图时刻意将Pokemon放在合适的位置,因此就像在增强现实中,用户的想象通过视觉对齐来进行校准,这表明市场对设备有需求,能够将这些生物实际跳动并与环境互动,因为人们已经在想象这件事,尽管它并没有实现。这次爆发显示出形成一种极具杀伤力的应用以及一种在AR领域会令人难忘的大事件。
VR如何向AR学习
你认为VR在Pokemon Go的特定使用案例中可以学到什么?
我先大致回答一下。在VR设计中,我总是发现非常令人沮丧的一点是,人们强求在虚拟环境中将界面强行放置在虚假的计算机和平板上。这在某种程度上是一种现代的VR拟态设计,大家觉得将这个浮动的iPad放在那里有界面会更加熟悉。但显然,人们能够在VR环境中混合使用增强现实界面。因此,你完全不应该把你的UI塞进一个虚假的计算机中。对于AR与VR来说,可以在虚拟世界和界面之间进行非常有趣的融合。显然,在VR中你有完全的控制权。
对于Pokemon Go,特别吸引我的地方是它的合作和多人玩法,这非常令人兴奋。我认为在VR中也会看到很多合作体验的出现,人们相遇或随机在某个位置见面,而Pokemon Go则在特定的地点建立了这些互动。像那样的动态在VR中同样会非常重要。
社交互动
让我印象深刻的是Pokemon Go的地理位置维度,实际上将完全陌生的人连接在一起,他们可以在游戏的上下文中建立人类联系。在某种程度上,你可以在VR中体会到类似的社交互动,但在公众场合没有像AR那种意外的相遇。我觉得在AR中存在着一种不同的社交互动。而我和Robert Scoble谈论Google Glass时,他的一个理论是,打破眼神接触确实存在着一种社会禁忌。如果你有一个屏幕,而在与某人交谈的同时低着头盯着那个屏幕,这在文化上是一种禁忌,人们对这种行为会有反感或厌恶反应,因为这打破了某些社会规范。
因此,我在考虑VR的挑战时,发现与AR的挑战有所不同,VR会真切地将自己隔离开,线索被封闭,你与周围人毫无眼神接触。这会在虚拟环境下与你更亲密。但这种人际互动在AR中反而更自然。我认为,Pokemon GO出现的问题在于人们盯着屏幕,形成了一种与运动的眼神接触问题,大家称之为Pokemon GO僵尸现象,人们完全沉浸其中或许在不尊重社会规范方面也会产生偏差。
我就是好奇你是否思考过这些,或者是否有其他维度?因为我感觉增强现实在某种程度上会更大一些,因为它没有这些问题,且可以自然进行面对面的互动。但在某些特定的使用情景中,完全进入虚拟世界显然会更沉浸或更好。
虚拟现实的挑战
是的,有关这一点,我想补充一下我的背景。我曾在Google Now工作,然后花了一些时间与Glass团队合作,将用户界面移植到该设备上。基于这些经历,我非常关注VR设备上的穿透摄像头的问题。因为如果人们开始觉得带着这种摄像头走动是没问题的,而其它人却看不到他们,那就会变得非常奇怪。比如说,在飞机上,如果飞行员要问你是否想喝点什么,而你戴着穿透摄像头和他交谈,这真的很糟糕。所以我有些担心,在VR设备上的穿透摄像头可能会在某种程度上造成问题。
回到刚才提到的Pokemon Go,我不认为人们会在公共场所使用VR。然而,我认为Pokemon Go的趣味在于陌生人围绕共同目的聚集,我认为VR也可以有共享的目的,帮助人们互动、沟通、合作。
Tilt Brush与用户界面
因为谷歌还收购了Tilt Brush,我认为Tilt Brush在用户界面方面做得相当出色,能够让工具变得自然且直观。但我也可以想象到,一段时间后,这可能无法扩展到你想要的所有选项。即使现在已经有一个按钮,方便用户滚动浏览不同选项。所以在自然直观的界面中,屏幕空间的挑战还有很多。那么在这方面你发现了一些什么,如何展示一组有限的对象,让它看起来不至于太过繁杂,同时也保持直观以方便用户浏览大量内容?
我们发现,在VR中很容易用UI快速压倒用户。无穷无尽的屏幕环绕着他们,因此很容易创造出过于复杂的内容,让他们一下子难以接受。这是设计者在设计应用时需要考虑的,用户的认知负担和注意力是有限的,帮助他们在不一次性呈现所有内容的情况下,有条理地引导他们完成应用流程非常重要。Tilt Brush利用调色板的几何形状很好地解决了这个问题,这样用户虽然快速可达,但实际上只是看一个表面。可以通过悬浮在空间中的一些物体来帮助用户专注在UI的某一部分上。
VR中的文本展示
你提到为了模仿2020视觉,我们需要关于每度大约60像素的显示效果。在VR中,文本呈现确实是一个挑战,尤其是在出现锯齿的情况下。那么你在为文本显示提供建议时,有哪些内容可以分享一下?
使用语音演员。我认为设计师完全忽视了音频,尤其是那些从二维设计过来的。因为在网页或移动应用中,通常是因为用户不戴耳机,而没法使用音频。但在VR中,用户有耳机,这很容易被忽视。此外,空间音频也非常有趣,听觉实际上是视觉的一种形式,它能让你第一时间感知整个场景。因此,我认为设计师可以利用音频来展示信息,进行用户指引,提供他们所关注事物的背景。如果确实要回归文本,当然确保在头显中测试文本并且能够被阅读,也是非常必要的。不要让用户被一大段文字压倒,遗憾的是,很多应用现在仍然这样做。
使用Daydream控制器
关于使用Daydream控制器作为激光指针的问题,你有什么看法?
作为激光指针,它真的表现得很好。因此你需要注意的是,要为你瞄准的对象设置一个良好的焦点状态,确保用户目前所选择的内容是明显可见的。由于这是3 DOF的控制器,如果你让激光从控制器中发出,你需要选择一个任意的空间位置来存在。因此可能会有些尴尬,因为我们无法确定用户是右手还是左手。对于应用的设计者,你可以查询这个,然后决定希望放在哪里,但更好的方式是当激光接近用户时,可以逐渐消散,让他们对此有个大致的感知,而不会导致身体感知出现问题。
我们发现,如果你试图做一些类似于绘图或应用的工作,它的精确度非常高,以至于你开始会看到手抖。就像试着用激光指针在远处的墙上写你的名字,非常困难,特别是在较远的距离。因此,激光指针更适于较大物体的选择和粗略手势,而不适合最后的雕刻或非常细致的工作,这是因为我们双手的局限性。
会话接口的演变
我可以想象到的是,虚拟现实和增强现实的趋势正逐渐向会话接口发展,所以设计通过声音激活的接口。但我也能看到在输入特殊字符和密码等方面,拥有一个虚拟键盘同样重要。那么从你的设计经验看,你关注更多的会话接口,还是两者都有?
我认为两者都很重要。不能仅依赖语音作为与用户界面互动的方法,因为我们不知道用户所在的环境是否合适他去说话。当你使用过Android Wear时,约一半的用户界面是基于声音的,因为声音确实非常快速,能够获取随机访问到数以千计的命令。总的来说,人们在公共场合不太使用这个,通常只有当他们独自在车里才会用,这确实很快速。但回顾过去,其中一些界面应该是基于触屏的。
对于VR来说,我对声音非常激动,因为我们有头部注视,未来可能会有眼动追踪。这种情况下,你实际上可以结合语音和上下文,用户能够说出这个,然后系统就能知道这意味着什么。我认为这对更好地进行控制非常激动人心。
项目Tango与Daydream
显然,谷歌有Project Tango,它现在变成了Tango,还有Daydream。这些项目都在同一建筑里,我可以想象在未来的两到五年里,会有一部手机能够同时支持这两个项目。但目前看来,两者的技术堆栈差异巨大,涉及的计算机视觉和各种传感器都是需要的,因此在Daydream手机上几乎不会有3D深度传感器相机能够融合这两者,也许Tango手机也尚未达到与Daydream的标准。但从设计的角度来看,我很想知道在VR中为Tango创建的体验有哪些,以及两者之间的不同,以及在进行沉浸式AR与VR时,如何做出特殊考量?
这是一个很好的问题。从电话本身的角度看,我们也许终究会看到那些既支持Daydream又支持Tango的手机,但在这些手机上加载的应用会是针对Tango或Daydream的应用,这将是一个比较小的集合。当然,设计考量方面,Tango相对较好,可以提供六自由度的自由度。你还可以利用屏幕大小,通过真实的增强空间来寻找物体放置的位置。在某种程度上,这像是响应式设计,与现实世界结合。
在这种情况下,短暂而瞬时的体验更接近移动设备。就像Pokemon Go一样,体验时间较短。如果设想一个Tango版本的Daydream,那就是要求玩家在VR中长时间体验,可能为30分钟以上,而对于Daydream手机而言,显然是3DOF的体验。因此,无论是坐着还是站着的体验,用户都不会有过多移动。而在VR中,分辨率截然不同,构筑于屏幕和镜头之上的 UI 差异很大。因此,很多设计元素将有很大差异,更别提VR和AR之间还有显著的不同。
Daydream Labs的原型作品
你在Daydream实验室生成的众多原型中,是否有你最喜欢的原型?
我特别喜欢的一个是玩具屋,在这里你可以构建东西,然后缩小以进入其中,这让我想起了小时候玩乐高时想要减小到迷你角色的身临其境的感觉。还有其他的,比如攀爬梯子和滑滑梯,这些都是创新的点子,一看到我就想,哇,这是个不错的主意。其他的还有一些与创作音乐有关的,比如打鼓等,真的非常有趣。而最有趣的是,把物体抛出去,那感觉就像物理在VR中很神奇,能够让你随意创建东西。若你还没有看到他们在Google IO的演讲,我非常建议你去看,因为里面有很多精彩内容。此外,他们还创作了很多很棒但尚未展示的内容。所以我希望他们会在新会议上重温这个话题,展示最新的内容。
未来的VR体验
那么你想在VR中体验什么呢?
这个问题有点具体,但我在科罗拉多州长大滑雪,我希望能在VR中滑雪,特别是我希望有一个外设,可以把滑雪靴真正固定住,类似于电影《太平洋怒潮》中他们驾驶机器人的那种感觉。如果能与滑雪靴的反馈结合在一起,能真正前倾,因为当你前倾时,就有一点重力推动着你的身体向前。我想要一个VR的滑雪外设,如果有人想做这个,请务必去做!
模拟器病的问题
你完全不受模拟器病影响吗?
实际上我会感到非常晕动病。不过,向前倾斜并利用重力可能会有所帮助。起初,我以为模拟器病会是我工作的一大问题,结果发现这其实是一种优势,唯一的缺点是现在我所有同事都来找我,问“嘿,这个会让你晕吗?”所以我就成了团队的金丝雀。
常见的晕动病触发因素
我也很敏感。我想了解一下,关于这些东西,通常是哪些不让其他人触发的,但会让你触发的?
我认为我对触发因素的反应相对正常。然而,我体验过的最严重的模拟器病体验,就是水平旋转的灵敏度提升。我当时立即感到不适,必须躺下。我们当时讨论过,这个可能是为了让用户在坐着的位置能够体验360度的视野,但绝对不要在应用中这样做。这是个很坏的主意。
关于运动病的进化理论
你在这一点上提到的“毒浆果理论”是一个非常有意思的观点。在今天与Jason Gerald的节目中,我们也讨论过运动病的这种进化理念。你能谈谈这个故事以及你认为可能是什么导致运动病与进化概念相连吗?
相对直接。那些中毒的人如果能迅速呕吐出他们吃的东西,就能更不易死于中毒,因为毒素会导致模糊的视线与眼动失调。然则,一旦你眼部的视觉出现延迟感,就可能会让我们反应迅速,因为模糊的视觉会导致不适。因此,任何类型的视觉失调可能都会引起呕吐。关于运动病的遗传研究也非常清楚,我们已经追踪到参与的基因,所以遗憾的是,我们的祖先保护自己不被毒药伤害的能力,如今反而使我们享受VR时感到困难。
虚拟现实的最终潜力
那么你看来虚拟现实的最终潜力是什么?它可能会启示出什么?
我认为非常令人振奋的是,VR能将体验民主化,让每个人都有能力接触到。教育将是VR中非常有趣的一个应用领域,部分原因是空间记忆对我们思考和记忆的储存非常重要。我们在当前教育过程中的应用尚未充分利用空间记忆的价值。内存宫殿的概念就像是在黑暗中努力寻找到某种效果,但将孩子带到这些探索中,他们会将那些地方记住,就如同他们在真实的地方拥有体验的那种感觉,这有助于他们记住旅行中所有的知识。因此,未来VR在教育领域会非常有趣。
结束语
如果你是开发者,我们鼓励你开始创建Daydream应用,你可以使用6P和任何兼容Android手机来模拟控制器。这个推出将在秋季到来,期待看看会有什么应用出现。当今需要运行Daydream VR的最新版本的手机是?
对于观看器而言,我们用的是6P。你需要加载一个特别版的Android N。至于控制器,任何Android手机都可以工作。我们推荐使用5X,如果你想选择一个标准的设备。然后在秋季,你就可以购买真正的Daydream支持手机和控制器了。
非常期待秋季的到来,真想看看会发生什么。谢谢你,Alex,今天的访谈。
这是Alex Fayborg,他在Google VR团队,谈论了VR设计的最佳实践。我从这次访谈中得出许多启示,首先让我感触深刻的是,Alex基本确认了我的怀疑,他们确实将移动VR视为更私密的体验。也就是说,他并不期待很多人在公共场合使用Daydream VR,尤其是用3 DOF控制器时。
另外一件重要的事情是,当你设计一个移动VR应用时,他提到的问题是需要思考:你是站着还是坐着?如果坐着,你的椅子是仅面朝前还是能够旋转的?对于移动VR,你没有位置追踪,因此决定在于用户是站着还是坐着。因为很多时候,如果你的应用设计是针对旋转椅,但某人在飞机上用的椅子不能转动,那就不会是一种愉快的体验。
同时,我也很认同Alex关于进入虚拟现实是一项不小的承诺的观点。根据谷歌的调查结果,用户在VR中通常会花费大约30分钟,这确实是一个重大决策,类似于坐下观看一部电影或电视剧。有时你可以打扰中断三星的修复体验,但在VR中跳出来似乎会变得更加困难,因为你真的要调空整个世界。
正因为如此,Alex认为从VR设计的角度,这是非常鼓舞人心的,因为只要内容有足够吸引力,用户就会全程体验,或者持续参与直到他们觉得无聊为止,再去做其他事情。
在社交互动方面,Alex对穿透摄像头的忧虑也让我印象深刻,就像人佩戴着反光太阳镜那样,他的眼神不完全显现出来。这种现象已经存在,此时与他交谈的人可能会觉得不礼貌,因为他们无法完全看到对方眼神的接触。而在VR中,尤其是如果用户开启了穿透摄像头但不摘掉VR头显,他们能够看到别人,但别人却看不到的社交动态将格外扑朔迷离,这在某种程度上会导致冻结感,打破社会规范。
我就此也十分赞同Alex的观点,我希望人们不把用穿透摄像头与他人互动作为一种标准化方式,因为这样就失去了直面交流自然的感觉。很高兴听到Alex对Pokemon GO的反应,他观察到人们在增强现实中是如何主动调整与校准,从而提升AR体验的提升。此外,在设计增强现实游戏与虚拟现实游戏时,目前两者的区别是如此之大,以至于对于设计模式和体验都呼唤一种完全不同的交互方式。
就像Alex所说,也许将来会出现能够兼容Daydream与Tango的手机,但在目前情况下,它们技术栈的显著差异,以及正在进行的设计考量已经足够调用两者进行区分。显然,音频与无人机交互的趋势正在增加,结合视线追踪与语音命令的引入,将使系统提供更高效的控制方式。
最后,感谢你收听本集播客。如果想支持节目,请传播这个消息告诉朋友们,您还可以加入我们的网站voicsesofvr.com的邮件列表,以便整理最新公告以及即将举行的相关活动。如果您愿意为节目做出贡献,可以在patreon.com/voicesofvr上捐赠。