Voices of VR播客
我叫简·克雷顿，来自新墨西哥大学，目前在科罗拉多州的丹佛工作。我主要从事沉浸式技术领域的工作，侧重于教授数字制作，以适应沉浸环境。我正在教授本科生如何为全景穹顶制作数字制作，并且他们可以使用当前的技术来完成这些作品。例如，我们主要教授如何拍摄球形摄影，如何进行摄影测量，并如何在Maya、Blender和Unity等3D环境中构建这些作品，以便我们可以将自己置于虚拟环境中，并增强全景穹顶的体验。所以我们完全沉浸在穹顶环境中，然后我们通常会更进一步，使自己成为这个世界的一部分，并在其中进行互动。
我是新墨西哥大学和艺术实验室的沉浸式设计团队和教学团队的一员，我们与美国印第安艺术学院合作获得了国防部的资助。作为该资助项目的一部分，我们有几个主要目标。第一个目标是制定一套课程，帮助本科生获取最佳制作这些复杂的天文馆制作所需的技能。多投影全景穹顶环境对影像非常复杂，与高清格式或标清格式不同，您正在使用远超过那些格式的分辨率，比如4000像素乘以4000像素。那么，如何通过摄像机拍摄4000像素是不可能的。事实上，您必须使用多个摄像机或者使用多种欺骗观众所拍摄的内容来以为其使用了多个摄像机。这也是3D环境的作用，因此在为天文馆创建数字制作时，我们经常会结合实际摄影，比如外部天空的摄影，然后我们会将一些3D物体（例如桌子、家具或建筑物）添加到作品中，并使用来自实际摄影的纹理进行贴图。这样开始构建起一个实际上可以进行建模、漫游和动画推动的环境，这是教授本科生穹顶制作的要点。我们的资助项目的另一个部分是关注创建一个新的交互工具，可以帮助我们解决全景穹顶中的设计和交互问题。在过去的十年里，自从多投影数字天文馆的发展以来，全景穹顶的一个主要问题是所有内容都必须被预先渲染并在多台计算机上进行切片处理。然而，近年来，随着视频处理器和计算机网络卡的最近进展，很多情况发生了变化。特别是最近两年，国际上有四五个非常优秀的团队几乎同时破解了这个问题，而且我们每个团队都从不同的角度来解决这个问题，这个事实可能是您不知道的一个独特的故事。在我所在的新墨西哥团队中，我的同事们开发了一个名为Vdome的产品，这是一个开源免费的应用程序，您可以在计算机上安装它，它可以帮助您实时切片并分发图像或视频到穹顶上。之所以开发这个应用程序，是基于一些不同的原因。首先是为了开发交互的现场部分，以便我们可以进行现场VJ表演。这是我非常喜欢做的一件事情。我想要将这种节目感觉带回穹顶，但带上一种当代的俱乐部文化的感觉，因为我也在俱乐部文化中有所涉猎，并且一直以来都是一名活跃的VJ。我加入团队时，这立即成为我想做的其中之一的事情。另外一个事情是在虚拟世界中玩耍，能够自由移动。现在这在我们很多文化工作中变得非常重要，尤其是在美国印第安艺术学院这样的地方，他们可以开始培训学生构建虚拟世界和虚拟展览，以便能够探索这些地方。这不再仅仅是在平面屏幕上虚拟地探索的能力，现在可以在全景穹顶中实现，在穹顶中进行多通道投影，并且不再是仅仅由一个人来体验，而是一群人一同体验。因此，他们可以开始一起交互，一起学习，甚至最终分享自己的观点，作为一个群体。这是一种非常强大的体验。对于我们的学生来说，我们发现vDome真正改变了他们使用穹顶的方式。以前他们不得不花费几个小时、几天的时间进行处理和渲染，用六台不同的计算机为他们的作品渲染出六个不同的切片，这真是一件麻烦事。现在，我们的学生可以直接将他们的球形图片放在计算机上，并立即在穹顶中看到效果，大大减少了他们的工作量。我认为这将改变天文馆的制作方式。目前，很多天文馆系统，尤其是大型博物馆和专业全景穹顶影院，仍在使用过时的技术。我们研发的新技术显然不足以真正推向市场并将其作为产品销售。我们目前处于研发阶段，其他团队也是如此。其他团队也都想出了类似但不同的方式来实现全景穹顶的实时交互。其中包括蒙特利尔的艺术与技术协会、英国的RFID小组、巴西的BlendiDome小组以及我们的新墨西哥的Vdome小组，这些团队是先进了类似技术研究与开发的团队，而且有趣的是，所有团队都觉得VJing是他们感兴趣的领域，这是非常有趣的，也许是因为我们都是年轻的俱乐部文化的后辈，我们都来自这个领域，我们都是技术迷，所以我认为几乎最有趣的事情是技术在过去两年中达到了这个点，我们这些人从不同的角度找到了解决办法，我认为这是最有趣的事情。你如何描述全球式穹顶环境与仅在虚拟现实头戴式显示器中体验的沉浸式体验之间的区别呢？好的，首先，全景穹顶环境非常好，因为创造了许多不同类型的穹顶。所以，当然，它们是360度的，它们可以让你看到整个周围的世界，但是有的穹顶只有从上到下的180度，差不多是你双眼的中分线处，就像一个赤道层面一样。有些穹顶的范围更大，可以达到270度，这样你就会有更深的沉浸感。由于显示设备不是连接在头上的，所以穹顶的物理性质使得您可以环顾四周，并且仍然保持在视野侧面的外部事物的视野，这是您在佩戴头戴式显示器时可能看不到的事情。全景穹顶制作中另一个非常重要的方面是与音频互动，因此许多这样的剧院都配备有环绕声系统。因此，我们不仅教授本科生如何在全景穹顶中进行视觉制作，还教授他们如何将声音作为催化剂，作为触发器。示意您背后有什么事情发生，您可能希望转过头去看一看。因此，穹顶可以不仅在情感上和身体上沉浸您，还可以带您与他人一同远离现实，并以多人的方式体验相同的事情。而佩戴头戴式显示器时，您是独自一人，并且没有这种团队合作的感觉以及四周环顾的能力。你是否也和我一样有相同的体验？并且在穹顶的不同位置坐着也会有不同的感受，如果你坐在正中央的前排，和如果你坐在中间偏侧或者最后排偏侧，你完全看到不同的东西。每个座位在穹顶中的视角都不一样，这是制作穹顶制作时需要考虑的一个非常重要的因素，以及如何利用图像和声音的潜力通过他们在空间感知中的移动或相互作用来改变人们的感知。我们在沉浸式教育展示活动中，有明显的教育组成部分，我很感兴趣，那是什么样的？实际上，对我来说，我第一次体验穹顶是在俄勒冈州尤金的天文馆。那时我还很小，可能是9或10岁的时候，我妈妈给我报了一个暑期营地，我花了一个星期的时间学习如何使用Apple脚本，并了解穹顶天文馆的光学原理。那时的光学发生器非常基础，基本上只是通过透镜照射光线，创造出星星和其他天文影像。虽然我对这个夏令营不怎么记得了，但当时的经验完全沉浸了我，我对那之后发生的一切非常感兴趣，这对于我来说是一个改变游戏规则的时刻。从那时起，我对科学感兴趣，对计算机感兴趣，对光学和光这些东西都非常感兴趣。我认为是天文馆驱动了我们这一点，并限制了它的能力。我们开始看到那些幻灯片投影机被引入到天文馆中。我在丹佛科罗拉多大学的苏勃星球馆工作过，那个时候我正在攻读本科学位。当我在那里工作的时候，我负责为他们的幻灯片投影机清理幻灯片，以投影关于宇宙和天文学的影像，当然情况已经发生了变化，现在的数码穹顶不再仅仅关联天文学，而是扩展到了更大范围的潜在教育领域。例如，即使在教授数字制作方面，我们也教授摄影、摄像以及艺术的不同角度。因此，这些学生可以将他们在这些领域中的一些经验应用到这些领域，但是他们必须以略有不同的方式学习，以使其在使用穹顶时能够取得成功。我认为穹顶为学生和教育工作者提供了很多机会，他们可以真正相互交流，这也是了解当您完全沉浸进去时，您对某件事物或自己的观点是如何改变的最佳机会。我认为这对于制作艺术家和观众来说都是最重要的。那么除了天文学，穹顶制作中展示的其他教育或内容是什么样的呢？穹顶中展示的内容非常丰富多样，现在不仅仅是以前的天文学了，甚至还涉及一些卡通电影，而且我相信最近甚至开始制作全长全景穹顶故事片了。那么除了天文馆和天文知识之外，我目前正在与我在科罗拉多大学的教授亚瑟·乔伊斯以及同事一起参与一个美国国家科学基金会的项目，该项目的一部分是记录乔伊斯教授位于下里奥韦尔德河谷的一些古代遗址。他和他的同事们撰写了几个申请，邀请我去记录这些遗址，并在记录中，我建议我们拍摄一些遗址的摄影测量和全景摄影，我想要创建一个虚拟的考古遗址世界，包括宙斯神殿和其他一些周边遗址。起初我的教授对我为什么要这样做感到困惑，但是当我向他展示我是如何以极大的细节拍摄整个深坑的各个侧面时，他说，你是说我可以在教室中展示这个，基本上在这里就可以虚拟教我的考古学生地层学了吗？我说是的，您可以。这就是我们在穹顶之外开始考虑的变革方式，如何在其他类型的学习环境中使用全景穹顶。因此，我与乔伊斯教授、萨拉·巴伯和他们的同事合作，进一步探索将他们的考古项目转变为本科生和研究生学生的学习项目。而且在我的教学工作中，我教授摄影、摄像和3D技术给学生们。能够在全景圆顶环境中与他们共享这些知识，远远超越天文学，我觉得Graham天文馆的用途正在不断扩展。如果有人想在自家后院或音乐节上设置一个这样的沉浸式圆顶，他们需要什么样的设备来实际搭建呢？首先，他们需要下载免费的vDome软件，然后需要一个小圆顶，可能还需要一个以上的投影仪。你可以容易地用三台投影仪搭建一个20英尺的小圆顶。你需要在计算机上进行设置，确保计算机装有相当好的视频处理显卡和大量内存等。我相信我的同事Charles已经列出了运行vDome所需的规格，因此你应该确保你选择的计算机符合这些要求。基本上，你只需连接几台投影仪，关于硬件的使用方式有很多不同的方法，其中一个最简单的硬件是TripleHead2Go，用于制作数字圆顶。是的，很简单。这是由一台计算机驱动，并分配输出给每个投影仪吗？数字天文馆最初是使用多台计算机分割投影的，所以每个投影仪都需要一台计算机，还有一台主计算机来运行整个系统。所以你至少需要7台或更多的计算机，而且我们在说的是顶级配置的计算机，价格高达5千美元，七台的话，那就是3.5万美元。但现在的情况不那么困难了。现在，通过vDome软件，如果你愿意，你可以只需要一台计算机来驱动6台投影仪。你只需要两张视频卡，每张都连着3个TripleHead2Go来连接3台投影机。然后你就安装vDome软件，不幸的是，我提到的其他几个团队开发的软件大多未发布。我相信Blendy最近发布了他们的全景圆顶版本，但我相信它可能需要花费几百美元购买。我没听说RFID团队有关他们的计划或项目的更多信息，而加拿大蒙特利尔的SAT团队是私人的，并且我相信他们的技术和软件都是专有且由一家私人公司支付的，所以他们还没有发布这个软件。因此，目前如果你想用一台计算机运行数字圆顶，你不会错过这个解决方案。有时会有一些小故障，但你需要知道我们会提供帮助，特别是Charles，他非常了不起。Charles Vesey是开发者，他用Max编写了代码，最近又用C重新编写了代码，所以现在运行得更好了。你提到了Unity，我对游戏引擎以及听这个播客的很多游戏开发者如何与Unreal Engine 4或Unity合作很感兴趣。我很好奇，如果人们已经构建了一个项目，他们需要做些什么才能将其输出并放入圆顶呢？嗯，这并不难。你需要运行vDome软件并打开Unity，然后将Unity发送到其中。我想是通过siphon连接实现的，具体情况需要查阅Charles来确认，但这并不难。我们确实做过一个Unity的测试，整个想法是全景圆顶是一个沉浸式环境，但它自然而然地适用于三维世界，因为三维世界完全是三维的，而且它们是沉浸式的。这正是圆顶的本质。所以在圆顶中查看这样的环境非常容易。唯一困难的是运动。通常情况下，如果移动得太快，你会让观众或自己晕眩。所以在控制方面需要更好的解决方法，也许我们可以修改圆顶的控制方式，让它们不那么容易操控和疯狂。但除此之外，我认为Unity在圆顶中是一个非常出色的平台。我预计在未来的3到5年内，圆顶中的Unity使用将大量增加。是的。从虚拟现实中得到的一个教训是，当你控制观众的视角并开始移动它时，而他们的身体没有移动，这会引起晕动病。所以当你提到这一点时，你在创建圆顶体验时应该避免哪些东西，你发现在观众中引起晕动或恶心的?在制作全景圆顶内容时，我们需要考虑的一个最重要的事情是甜点，也就是观众的眼睛自然停留的整个圆顶的区域。实际上，这是圆顶的一个相当小的部分，所以我们的大部分表演实际上将发生在圆顶的那部分地方，然后像你的正常眼睛一样，会有周围的环境。在制作全景圆顶内容时，你需要真正小心，确保所有的行动都要慢一点，而且要进入圆顶去看看你正在制作什么。在圆顶上移动和旋转可能在高清或标清屏幕上是正常的，但在圆顶上会显得太快。你必须非常小心地平移和移动，因为你是对的。观众无法控制这种运动，所以很容易让他们感到晕眩。我记得几年前，在一个沉浸式峰会上预览了一个非常滑稽的安全套广告，我记不得了，我真的感到很晕眩，不得不离开了圆顶，去洗手间解决了一下，因为我的状况非常糟糕。我整个晚上都不能再回到圆顶了，我是这样生病的。许多人喜欢这个广告，但我想有一半的人站起来离开了圆顶，因为它的运动、视频和动画以一种过山车的方式展现出来，使得这些猪坐着过山车。我不记得这个广告的上下文是什么了，但你知道的，猪不使用安全套，我猜。所以，无论如何，他们的广告非常印象深刻。直到今天，我仍然会用这个广告在教学时向我的学生们展示，如果他们移动得太快，如果他们不减慢动作，他们很可能会让观众晕头转向。只要东西不停地动来动去，如果有动作在观众的前方，然后突然出现在观众的后方，观众不得不迅速转动头部，这也可能让他们感到晕眩。随着虚拟现实的复苏，开始出现了各种各样的球形视频解决方案，比如在一个印刷的球体中装有12个GoPro摄像机，你知道，还有其他的解决方案，可以用多个高清摄像机来创建球形视频。我很好奇，在制作圆顶内容时，你们研究了哪些解决方案，以将视频内容带入完全球面环境中？是的，视频内容是我们需要开始教授的下一个层面。不幸的是，我们目前在艺术实验室与美国印第安艺术学院的合作项目中没有足够的资金来研究全沉浸式球面视频。我们本来很希望玩玩360 hero。我们本来希望你能捐赠一个给我们。但是，嗯，没有发生。我们确实有一个ladybug，里面有5个摄像机。这个学习曲线很陡峭，而且一些这些技术有相当陡峭的学习曲线。它们是新的技术。因此，作为研究人员、创新者和技术使用者，我们不断地了解这些技术，并尝试看看其他人的创新是否适用于我们，以便将其传递给我们的学生。而且现在，就成本效益而言，360 hero可能是最好的选择。它使用6台hero相机安装在3D打印的6面立方体上。所以我们当前的教学模式将高清视频与球形摄影和动画相结合，以欺骗观众认为他们置身于完全视频沉浸式环境中。这与完全360视频非常不同。完全360视频是下一步，它使用了与处理球形摄影相同的软件来处理360 hero的内容，所以技术是存在的。我认为问题是学校是否能获得购买设备的资金，而且这项技术已经存在了一年半左右，因此最终它将融入大学体系，并纳入课程中。最后，你认为完全沉浸式的虚拟现实的终极潜力是什么？我一直认为全景圆顶是改变你的观点和改变你的参考框架的终极潜力，我认为这可能是沉浸式技术最重要的方面之一，因为我们都带着自己的参考框架、自己的个人历史、自己的个人观点和自己的视角来体验这些经历。而沉浸式全景圆顶环境让我们可以摆脱这些，以不同的环境、不同的视角来体验它，实际上，你可以经常改变和操作它。最终，这会给你新的参考框架来学习和理解材料。我认为这是过去的天文馆和数字天文馆向学生、教育者和观众提供的最重要的东西之一，它改变了你。好的，谢谢，谢谢你，我很感激。