The Voices of VR Podcast

引言

你好，我是Kent Py，欢迎收听《VOICES OF VR》播客。这个播客关注空间计算的未来。可以在patreon.com/voicesofvr支持我们的播客。

节目内容

继续我的系列节目，探讨XR和AI的交集，今天的节目是关于Laval Virtual最佳学生项目获奖作品《The Unclaimed Masterpiece》。这是一个沉浸式体验，你和一个聊天机器人进行对话，你实际上是用自然语言进行交流。它利用Whisper将你所说的内容转化并输入到ChatGPT 3.5，然后返回指令。

在这个游戏中，你是一个小偷，试图偷走不同的画作。有时它会给你准确的线索，有时它会出现幻觉，给你错误的信息。因此，你需要在给定的线索中导航，找到正确的画作，然后基本上“偷走”它，乘电梯下去。所有的图像也是使用稳定扩散技术生成的。此外，这个学生项目是在几周内创建的，旨在探索生成AI与对话接口和虚拟现实之间的交集。今天的节目就是围绕这个主题展开的。

访谈开始

这次与Elise和Mel的采访发生在2023年4月14日，地点位于法国拉瓦尔虚拟博览会。好了，让我们开始吧。

采访者介绍

我是Alize，来自MTI 3D，我们都是阿尔斯·阿梅提拉瓦尔的学生。我们被要求在两周内制作一个VR应用程序，因此我们选择制作一个关于“你是谁”的VR游戏。基本上，玩家必须猜测他要偷哪幅画。

你好，我是Marc Cellier，我也是MTS 3D的第一年硕士生。Alize在项目中作为3D艺术家和2D艺术家工作，而我在这个项目中主要作为开发者工作，包括一些3D艺术的工作。

背景与 journey

也许你可以谈谈你们的背景以及如何接触到虚拟现实的？

我在拉瓦尔长大，一直被虚拟现实吸引。我的学习经历是在拉瓦尔的一所视频游戏学校L3DI。那时我们没有VR课程和教学，因此我们基本上只做视频游戏，但这为学习如何制作VR游戏奠定了坚实的基础。对于我来说，我一直对视频游戏、3D电影感兴趣，但年轻时并没有对虚拟现实产生太大的好奇。去年的时候，我发现了虚拟现实游戏，那对我来说是惊人的，因为它与传统屏幕截然不同。我尝试了这个硕士项目，现在我知道如何制作3D视频游戏和虚拟现实应用程序。

项目规划与理念

我很想听听这个项目是如何开始的，因为概念是你试图找到一幅画并与一个机器人互动。你在使用ChatGPT来翻译你的声音，并获取线索，因此你有一个虚拟助手与之交谈，你在不同的楼层之间寻找要偷的正确画作。这个想法是如何与虚拟现实结合人工智能的？

我认为我们的目标是制作一个虚拟现实项目，我们的目标是创造一些新的东西。当我们开始为这个视频游戏制定计划时，它是全新的，因为没人这样做。因此，我们决定尝试一些新的东西。我们不仅仅想制作一个拥有AI的功能应用程序，我们想做一个真正的应用程序，在其中AI具有个性，能够与用户进行真实互动。她不是一个简单的机器人，只是给出“是”或“否”的回答，有时她还会和你开玩笑。

项目开发与技术细节

在这个项目中，你负责哪些部分？

在这个项目中，我负责大部分图形工作，比如3D建模、3D纹理、以及部分照明工作。我还负责游戏中的UI和公众界面的2D图形，为那些不在游戏中但观看体验的观众。

这个项目中有很多艺术作品，你也提到使用了Stable Diffusion，你参与了通过给提示生成一些画作并将其包括在VR项目中，对吗？

是的，大部分你看到的环境中的画作确实是通过Stable Diffusion生成的。此外，我们自己制作了一些海报。例如，这张海报完全是手绘的，它代表着我们的游戏，是用户对抗AI的对局。

语音交互与翻译

也许你可以谈谈语音交互的界面，如何能够将你的语音翻译成文本并输入到ChatGPT中，你们使用了Whisper吗？使用Google吗？

当你开始游戏时，如你所见，你可以选择你的语言。当玩家说话时，它会被录音，生成一个音频文件。然后，Whisper将其翻译为文本文件，并发送到ChatGPT。然后我们得到了GPT的回应，我们会将其翻译成音频文件，使用Microsoft Translator，并通过Unity播放它。这个过程每次都是这样的。

玩家体验与AI反应

我必须说，它在传达我所说的内容和获取回应方面效果很好。确实有一些延迟，我觉得这就是我在Quantum Bar中看到的延迟。有时你说话，需要些处理时间，但我觉得随着实时处理技术的发展，这一切会变得更快。但这一切确实还处于与虚拟生物和人工智能交互的早期阶段，确实有一种不自然的感觉，似乎不像人类，因为总有延迟。

至于玩家的互动，我看到他们最初与AI交流时会显得害羞，有时会偷偷看着麦克风，轻声说话。但在几分钟后他们会变得放松，开始享受游戏。

人工智能的个性与限制

能否谈谈培训这个AI机器人个性的过程？

是的，我们在每次启动游戏时，都会向ChatGPT发送一个提示，包含可能的问题和答案。我们给ChatGPT提供上下文，从而帮助它理解与用户的互动，并确定回答的限制。不过，ChatGPT有时会给出错误的答案或出现幻觉，这是体验的一部分，玩家在游戏开始时需要理解这一点。

虚拟现实的未来潜力

最后，你们各自认为虚拟现实的最终潜力是什么？

我认为虚拟现实的全部潜力是在做一些你在现实中无法做到的事情。这个项目展现了这一点，你实际上是在和一个不存在的人玩一个简单的游戏。我认为，在虚拟现实游戏中实现AI的集成让完全的现实变得可能。你正在创造一些现实中不可能的东西，并使其完全成为可能，甚至进行社会互动。

结束语

再次祝贺你们在拉瓦尔虚拟博览会上获奖，这种ChatGPT与VR的结合有着巨大的潜力，尤其是当你们开始有本地版本并减少延迟时。我非常享受这次体验，再次感谢你们加入我的播客。

感谢收听《Voices of VR》播客。如果您喜欢这个播客，请传播这个消息，告诉您的朋友，并考虑成为Patreon的会员。这个播客依赖于像您这样的捐助者来继续提供这方面的报道。您可以今天就访问patreon.com支持我们。