虚拟现实播客的声音
Kent Bye:
大家好,我是Kent Bye,欢迎收听《虚拟现实播客的声音》。目前我在虚拟现实领域看到的趋势中,我认为最重要和有趣的一个就是“化身感”。随着《Beat Saber》在5月1日发布,它的核心就是把你的身体融入体验中,并将身体作为一个游戏机制。
《Beat Saber》成功的一个关键因素是它集成的混合现实系统,名为Liv。Liv允许你在家中设置绿幕,从而可以在家中进行以前只有在混合现实工作室中才能实现的操作。现在,你可以在虚拟现实中开始直播你自己的混合现实体验。所以在《Beat Saber》中进行直播的人,正是那些制作这些病毒视频的人。比如,Swan和其他人,我将进行采访以解读他们制作视频的病毒动态。
我还有机会和Liv的CEO兼联合创始人6进行对话。6谈到他在虚拟现实中看到的一些趋势,同时也努力解决用于设置即插即用混合现实系统的难题。他们正在开发的系统包括一个立方体,并且也在开发特定的硬件。此外,他们还为那些希望手动调整以启动他们混合现实系统的人提供了很多软件解决方案。今天的节目中,我们将讨论混合现实,看看它目前的发展状况以及未来的方向。
和6的采访是在2018年5月4日星期五的VRLA大会上进行的,地点在加利福尼亚洛杉矶。接下来,让我们开始吧。
6:
我是6,Liv的CEO。我们的口号是“通往虚拟现实的窗户”,我们相信在VR中观看的能力是一个未解决的问题。我们所说的意思是,当人们体验VR时,普通人甚至在VR领域工作的人也难以理解他们正在做什么的背景。因此,我们想要解决的问题是,让身在头盔外部的人能进行旁观。
当然,你们有一个混合现实解决方案。我刚刚为波特兰社区媒体设置了整个工作室和绿幕。也许你可以谈谈人们需要什么基本要求来启动混合现实直播。
6:
好的,从绝对最低限度来说,我们的一些社区做了一种称为“部分混合现实”的东西,即他们仅渲染前景。这并不一定需要绿幕,但会有一些限制。基本上,任何在前景中的东西,比如说他们在玩第一人称射击游戏时,他们会看到他们的枪和他们眼前的东西。我们的社区称之为“部分混合现实”。为此,你只需要一台摄像头。从硬件方面来说,你需要一台VR兼容的电脑,但这有点超出标准配置,因为我们还需要渲染额外的视角。通常我们建议至少配备1070显卡和像i7或Ryzen等效的CPU。
为了实现真正的混合现实,你还需要一个绿幕和一台高端网络摄像头,或者我们在内部使用GoPro,它在网络摄像头和单反相机之间的平衡非常好。
Kent Bye:
那它有HDMI输出吗?或者你是如何将GoPro连接到电脑上的呢?
6:
我们使用的是GoPro黑色系列56,它有一个micro HDMI可以连接到电脑。同时,它不仅因为相当好的清晰度和色彩质量而受欢迎,还有高的视野角度。你可以将GoPro校正为线性模式,这样就不会出现很多高视野角相机常见的鱼眼问题。
最近《Beat Saber》发布了一个大版本。我提前一周体验了,在此期间我每天玩约一个小时,并且直到能够完成一些专家级别的关卡为止。我希望用我与两位创作者的播客采访制作一个视频,但我不想只有第一人称视角,因为我想让大家真正看到我,看到我的化身,看到我被沉浸在这个环境中的样子。单纯的第一人称视角并不能真正展示我玩游戏时的身体活动和感觉。即便是我看了混合现实的拍摄,我还是觉得这并不能完全捕获玩游戏时的感觉,但至少比第一人称视角更接近。
6:
确实如此。我们试图传达的最大一件事是,人的运动细微之处是无可替代的。目前我们在内容创作方面仍面临着混合现实中面部被遮挡的问题。不过,我们看到人们在使用混合现实,尤其是人与人之间运动的真实表现。那些不了解VR的人会更深入地与这种类型的媒体建立联系,而不是仅仅与那些在VR中以不自然的方式被设定的虚拟形象建立联系。
像我们社区中就有人穿着恐龙服装玩《Beat Saber》,还有人将两个控制器连到一个杆上,变成达斯·摩尔。这些媒介形式是其他任何类型的媒体创作无法做到的。
Kent Bye:
我在设置时得到了波特兰社区媒体中心团队的帮助,他们也在努力建立自己的混合现实实验室。我在这个过程中获得的关键概念指的是校准阶段,知道摄像头在真实空间中相对虚拟世界的位置,这样你就可以将摄像头渲染进入虚拟场景,并拥有特定的角度。你必须以特定顺序设置所有内容,稍显复杂,如果你弄错顺序,它就会不工作。尽管情况有点像炼金术,但也依赖于每个人的设置,因此每个人可能会遇到不同的问题。我想从你那里了解一下,是否有其他的概念要点。
6:
在实际的入门过程方面,你首先需要设置适合的VR设备、绿幕、灯光。然后,你需要校准摄像头在虚拟世界中的位置。我们使用一种叫做Viber的工具。基本上,你要说,好的,摄像头在这里,它在物理空间中相对于游戏的位置,视野的大小。在某些情况下,你可以定义虚拟角度或使用追踪器进行校准。如果没有追踪器,你也可以使用Rift或其他可物理追踪的物体。
然后,将这个偏移值放入我们的合成器中。我们做的是在虚拟世界中渲染这个视角,并将你作为玩家合成到游戏中。
Kent Bye:
我们遇到的问题是,尝试校准摄像头时,不能完美对齐,因此需要微调。你实际上在屏幕上广播的是2D视角,但必须相对于摄像头的位置和你手中的控制器进行空间对齐。当你转身、移动时,如果视野不正确,有时校准会错位。有一种挑战是,要对应摄像头的位置和你的位置,以及你通过手和现实所看见的内容在2D屏幕上广播,并尝试将这些三维对象与控制器对齐。我想知道,你是否想过在某个时刻,可以通过算法自动解决这种对齐问题,而不必调整XYZ坐标。因为我发现我们似乎永远达不到完美的状态。
6:
绝对是。我们最终解决这个问题的方法有两个。真正解决这个问题的方式是采用将实际跟踪融入到摄像头中的解决方案。也就是说,一个具有灯塔追踪集成的摄像头,这样就不需要校准。它会自动知道该摄像头的视野和相对镜头的位置。这当然是简单的即插即用解决方案。另一方面,可能会使用物理二维码或其他视觉标记,可以展示给摄像头,但这会增加复杂性,比如要求我们的最终用户在纸上打印出来并放在板上。虽然技术上更简单,但又产生了另外的期望。
所以,最终的解决方案就是我们只需达到特定水平,开发出集成追踪的摄像头,或者适应所用的任何头显追踪。在缺乏这种集成解决方案的情况下,Liv作为一家软件公司必须通过算法找到解决方案,以便使用各种不同的系统来解决问题,包括各种不同类型的摄像头。
Kent Bye:
我想知道如何处理不同类型的摄像头,以及校准到一定视角的过程。摄像头确实是一个复杂的问题,涉及到硬件、音频视觉和光学问题。解决这一问题的唯一方法是需要一个端到端的硬件解决方案。按我的理解,这是足够简单的,让用户可以立即接入,按下一个按钮,用他们的内容来体验游戏,然后与朋友、家人分享。我们最兴奋的是电子竞技领域。如果我们从高层次来看,这种细微之处是无可替代的,尤其是在VR电子竞技中。我们认为混合现实将是建立这一方面的一个必不可少的组成部分。
Kent Bye:
我在GDC的时候做演示,我希望能够把我的摄像机对着屏幕,制作一个混合现实视频。但在设置好混合现实后,我感叹,如果我是开发者,正要为GDC的演示做准备,然后还得管理混合现实的安装。因为拥有一个即插即用的系统是我们所期望的。
对于Liv来说,你是否依赖于即将到来的集成解决方案,同时继续关注软件?这即插即用的混合现实系统的下一步是什么?
6:
实际上,我们已经构建了一些到达那个层级的东西。我不太喜欢谈论它,因为我们并不想仅仅被称为“立方体公司”。我们的确开发了一种绿幕立方体,围绕着目前在设定位置、照明以及房间大小等方面存在的各种问题。所有这些细微之处看似不复杂,但如果你设置就会发现其实相当复杂。我们下周会开始销售这一产品,并结合硬件预设,为场地和最终用户提供一个完整的混合现实解决方案。
不过,作为公司的最终目标并不仅仅是这个,而是解决一个更大的主要问题:现在人们观看他人体验虚拟现实的方式非常乏味。我们想要使观看这一过程变得更加精彩。这涉及到的不仅仅是目前的混合现实。
我们还在测试一些新功能,例如通过语音命令切换虚拟摄像机,体验自己的虚拟形象。这就是我们如何满足最高水平的专业用户,他们愿意设置绿幕并参与这一活动。我们认为,展示人的身体在观看内容时作为一种代理是非常重要的,但我们也意识到这是一种有限的方式。虽然混合现实很难设置,但体积混合虚拟图像更加棘手。因此,即使我们希望让每个人的家中都能实现完整的体积混合现实,这个目标的实现至少还需数年时间。
Kent Bye:
我能想象,使用这些Liv立方体在基于场所的娱乐中进行《Beat Saber》表演,捕捉并拍摄,可能在社交媒体上分享。这种方式可以让人们捕捉到他们在游戏中感觉自己像忍者的样子,同时也能展现出他们在其中的身体感受和乐趣。这个想法是,这些位置导向的娱乐活动可以建立这种混合现实设置,以便创造媒体,让人们能够访问,并为他们自己和所处的地方、游戏以及Liv的混合现实解决方案进行推广。
6:
绝对是。我刚刚和一位提到在某个新开设的购物中心的人的对话中,该中心由The Void开设,大多数进入购物中心的人都是以前从未去过的人。我认为,我们正在构建的系统不仅会增加娱乐场所的流量,还将帮助这些场所向人们传达他们的体验。我与许多人交谈关于基于地点的娱乐,目前的大多数沟通只是单纯的口头传播,像“我体验过这个,我触摸过那个”,而没有一段媒体能直接展示“哦,这个是我与一个西斯对战的场景”。这样才能更有效地吸引那些对体验感兴趣的人,减少人们在第一时间戴上VR头显时的社交焦虑。
Kent Bye:
在与一些热门VR大作的直播接入方面现在有什么进展吗?
6:
目前在保密协议内,我们有一些即将推出的大作。我不能多谈,但可以说,我们在这些新游戏的开发中得到了一些关注,许多开发者和我们合作,不仅是因为混合现实作为技术平台,也因为我们推动游戏的发展社区。就像《Beat Saber》,很多媒体发布的视频在我们的Discord中产生,而这是我们推广游戏的重要平台。
Kent Bye:
《Beat Saber》推出后,Liv的关注度有没有增加?
6:
当然,我们的社区成员在发布当天和发布后的一天内全天都在处理Discord的消息,忙活了14个小时。的确,关注度大幅上升!
这是非常有趣的,看到这种媒体形式从前被认为不够认真,如今能够接入到没有大型工作室的普通人,让这成为一种新的形式,这是令人兴奋的。
Kent Bye:
那么,Liv接下来的发展方向是什么?
6:
接下来的目标是解决更大的旁观者问题,即如何表达体验的感受。我们在VR圈里都知道使用Vive和Rift这样的头显的感觉有多美妙,但普通人并不了解,在普遍数据的统计中也可以看到。因此,我们仍然希望解决旁观者问题,这将增加更多人愿意接触VR,并且愿意去创作相应的内容。
我们在构建的东西包括聊天集成,可以在Twitch直播时与观众互动。同时,我们还在研究虚拟角度和虚拟形象,以便将自己以其他有限的方式呈现在混合现实中。我们非常幸运的是拥有人们指导我们,而不是我们去假设别人想要什么,我们有一个非常活跃的内容创作者社区。
Kent Bye:
那么,你个人希望在VR中体验什么?
6:
我的联合创始人AJ,我们叫他“毁灭博士”。我想有一天在直播中打败他,并让一万个人观看。这就是我创立公司的原因——一切都为了我的自我。
我对这种新的技术在游戏和身体运动结合的形式非常兴奋。我的名字来自《魔兽世界》,6是我的潜行者角色。感谢新技术,让玩家不再只是作为脚注,而是让他们的身体发挥价值。我们有历史上首次的机会,让人们的心灵因技术而感到满足的同时,身体也在动态地参与其中,而不只是生理上坐在一边。
Kent Bye:
最近,我在Twitter上看到关于《Beat Saber》的讨论,它是否可以成为一种新兴的电子竞技类型。人们提到像《鼓之怒》和《吉他英雄》,这一类游戏中的竞争元素。但也有人认为,像是保龄球一样的竞争,更多的是自我挑战,而不是与他人直接竞争。对此你怎么看?
6:
确实如此。《Beat Saber》正在开发多人模式,事实上,直播是没有替代品的。即时反馈、社区互动是直播的独特之处。当涉及到多人游戏时,尤其是混合现实,增加了一层挑战,但这是我们正在积极探讨的领域。我没有简短的答案,但可以肯定的是,现场直播的相关性将超过单人与分数对比的形式。
Kent Bye:
最后,您认为虚拟现实的最终潜力是什么?
6:
虚拟现实有光明的一面,也有阴暗的一面。阴暗的一面是我们沉迷于虚拟现实,以至于不再关注现实生活,导致离婚等各种问题。正面影响是,如果我们不把VR视为逃避,而当作一种重新想象现实世界的方式,我设想在虚拟世界中概念化出一个没有现实限制的理想生活,通过虚拟手段去思考并实现更好的现实。
Kent Bye:
还有什么想对听众们说的吗?
6:
如果你想关注我们,可以在所有社交媒体上找到我们,账号是liv。我们的网站是liv.tv,而我们的Discord频道是liv chat。我们有一个非常活跃的社区,会帮助你如果你想要挑战去设置混合现实系统。
Kent Bye:
真的值得。当一切都顺利时,它是非常令人满意的,能够看到自己在VR中,并以更好的方式体验这种沉浸感。感谢你今天加入我的节目。
再次感谢你,Kent。
今天的嘉宾是6,Liv的CEO,他们是一家混合现实软件和硬件解决方案公司,致力于把化身感和身体感带回计算机环境中。我对这次采访的收获有很多,首先,化身感是虚拟现实中的一个巨大趋势,且自始至终如此。然而,最近有一种转变似乎强调了体验的沉浸性以及在VR中展示自己的重要性。当人们观看这些《Beat Saber》的视频时,他们有种直观的感觉,觉得“哇,这看起来真棒”,然后去亲自体验后发现,它确实很棒。
因此,这是第一次我们能够更清晰地传达身处虚拟现实的体验。6提到,现场直播将对混合现实和电子竞技的未来至关重要。这是一个挑战。《Beat Saber》似乎正在开发多人模式,探索人们如何对其他玩家做出反应的可能性。甚至在直播活动中,如何管理这些相互作用也是更进一步的挑战。
总之,“化身感”在VR中正成为一个重要趋势,Liv正在努力将身体感带回计算机体验中。这让我们的身体能够在体验中恢复活力,而不只是简单地扔掉我们的身体。感谢你收听《虚拟现实播客的声音》,如果你喜欢这个节目,请传播给你的朋友,并考虑成为Patreon的赞助者。这个节目依赖听众的支持才能继续提供深度报道。你今天就可以在patreon.com/voicesofvr上捐赠。感谢大家的收听!