The Voices of VR Podcast
你好，我是 Ken Bai，欢迎收听《Voices of VR播客》。今天，我要介绍一个非常喜欢的制作团队——Tenderclaws。他们的成员是 Samantha Gorman 和 Danny Cannizzaro。他们最初为 Daydream 制作了虚拟现实体验《虚拟虚拟现实》，我有机会亲自体验过，这绝对是我最喜欢的互动故事之一。我在 2017 年 VRLA 上采访过他们，这段采访将在接下来的几期节目中播出。今年的 Sundance 电影节上，Tenderclaws 推出了一个新的互动体验《attend AR》。他们使用了一部手机和 Google ARCore以及一些情感识别的软件，这些是来自 Google 的原型软件，能够创建一个互动故事，参与者与另一人共享手机，并共同体验。在这个过程中，你们一起进行面部情感表达，以训练这个 AI。
这是一次非常有趣的体验，我认为它很好地展示了增强现实故事讲述的潜力，以及它与虚拟现实故事讲述的不同之处。我有机会与 Samantha Gorman 坐下来，深入探讨他们的体验，这实际上是他们一个更大三小时叙事的一小部分，他们计划在今年晚些时候发布《Tendai AR》，而这次是他们的社交表现组件的抢先体验。因此，今天的播客节目就是围绕这一主题展开的。与 Samantha 的采访发生在 2018 年 1 月 21 日的 Sundance 电影节，在犹他州的帕克城举行。
关于《tend AR》的访谈
嗨，我是 Samantha Gorman，Tenderclaws 的联合创始人之一。今年在 Sundance，我展示的是《tend AR》，这是我们即将推出的项目。目前，我们为 Sundance 制作了一个具体版本，计划在四月结束时推出完整的 ARCore 和 Android 体验。这个应用程序将会关于一个虚拟宠物鱼的 AI，它会随着你和朋友提供给它的情感喂养而进化。在 Sundance 的版本是一次故事驱动的漫步，设定在一个虚构公司中，该公司有一个情感识别平台，帮助创意者和品牌通过用户的情感信息来决定他们的产品如何制作。而把我们的技术与众不同的是，我们没有使用一排服务器，而是训练了基于金鱼大脑的 AI，能够根据来自用户的情感数据分析，朝不同方向游动。
在这个项目中，用户需通过训练鱼的 AI 来理解人类情感，因为它会接收鱼的数据。我必须说这款 AI 的表现相当出色，真的非常有趣。对于我来说，这个体验的种种趣味点在于情感的集中。你几乎被指导去人工生成不同的情感表达，并且伴随着这样的反馈循环，你开始感受到这些情感。当你开始模仿不同情感的面部表情，你便开始真正地感受到它们，而整个体验的引导就是围绕这一点展开。
关于面部识别技术和情感检测
我想先问一下，你们是如何使用面部识别技术来检测人们的面部运动，从而识别情感的？
是的，实际上在这个项目中，这个过程非常有趣，因为我们和 Google 在 ARCore 方面有合作，此外还在他们的先进人类感知技术方面展开合作。他们开发的技术实际上相当精细，但我们正在以这项技术进行编码，因此整个人工智能的开发过程是反复迭代的。这一项目实际上在 Sundance 是在探讨人类体验的细微差别，我们要思考情感是怎么弯曲的。很多其他平台只是限定在五种特定情感上，因此我们主要关注人类的体验和两个人之间的动态关系。
关于社交体验的设计
另一个很显著的特色是，你们在进行这个体验时是和另一个人一起进行的。你们共享一个耳机，分别听到体验中的不同音频，那么你能谈谈你们创造这样的体验时的过程吗？你们如何设计这样具有不同连接点的体验？
我还想提到的是，我们在这个项目以及即将开展的项目中，正在与纽约的一家名为 Pie Hole 的实验戏剧团体合作。因此，脚本的创建是一个多轮的过程，包含众多编剧和一位戏剧导演，我们在思考如何让这一切显得自然，同时也考虑到如何与用户互动。在不同的地方，音频会分成两条不同的轨道，给用户提供针对性的体验。
体验设计的挑战
哇，听起来很有趣。那么，对于体验设计来说，当你们开始做这样的事情时会发生什么？
我们正在实验的一部分可能会在正式应用中呈现，用户可以和家人朋友一起在超市或者其他公共场合进行体验。在应用的最后一部分，当它为用户调试情感并带他们经历一些情感训练后，系统会让两个用户闭上眼睛，并给其中一位讲述一个故事，而另一位则会有一个稍微不同的情感上下文。然后，它会要求另一位用户睁开眼睛，模仿对方的情感，去表达到鱼的面前。
哇，我错过了那部分。你能再谈一谈这种空间关系吗？用户之间是面对面的还是并排的？
这个项目最初源于一个 HoloLens 项目，关于亲密关系和两个人在互动过程中如何受到技术层面的影响。因此，我们希望能够将应用的方向输出与自然经验有机结合，同时感知空间中另一人的存在感以及彼此之间的目光交会如何影响屏幕上的反馈循环。
核心技术与体验的结合
你能谈谈这个体验背后的一些核心技术吗？我知道你们在行走时，会进行物体识别并执行一些情感识别。
实际上，这是个相当有趣的经验，完整体验将是一个近乎三小时的 AR 叙事。这是我所知的第一个结合多种核心技术的项目，其中包括 ARCore，以及 Google 人类感知单位的两个不同分支。一方面是情感识别能力，另一方面是物体识别能力。在情感识别能力上，我之前提到的技术正在不断进步，甚至能够在完整的 API 中区分厌恶和愤怒，以及冷漠等情感。而其他平台往往只关注更明显的情感，如快乐、悲伤和惊讶。现在这些细微的情感正在逐渐发展，这是非常有趣的。
总结与展望
谢谢你今天的分享！我非常期待看到《tend AR》的正式发布，并体验你们如何在增强现实的叙事中融入情感反馈。这种将科技与人类情感结合的尝试，无疑将改变我们兑换体验的方式。希望今后能有机会深入探讨这方面的内容。
感谢大家收听《Voices of VR播客》。如果你喜欢这个播客，请分享给你的朋友，并考虑支持我们的 Patreon。这是一个由听众支持的播客，我依赖你们的慷慨捐赠来继续为你们带来内容。你可以在 patreon.com/voicesofvr 上捐赠。感谢你的收听！