(
映维网
2020年07月15日
)Schell Games自2002年以来一直在开发教育和娱乐游戏,并为VR社区带来了诸如《I Expect You To Die》和《Until You Fall》等优秀作品。今天,这家工作室的产品管理总监亚历克西斯·米勒(Alexis Miller)和制作人泰娜·阮(Tera Nguyen)将向我们介绍团队在2D和VR游戏测试方面积累的经验和见解。
另外,如果对这个主题感兴趣,你可以参阅
Oculus
有与Schell Games合作编写的
Oculus Playtesting Guide
。
下面是映维网对亚历克西斯·米勒和泰娜·阮分享的整理:
我们在过去数年间进行了大量的现场监管游戏测试,而最近我们发现远程无监管游戏测试和远程实时(视频)游戏测试同样取得了成功。下面分享的技巧是Schell Games团队过去和现在所积累的智慧成果。每种方法都涉及不同的规划和利弊,但都可以提供有价值的反馈。
1. 所有方法
测试的所有方法都遵循:
通过一系列问题(事先预备)询问玩家的游戏经验非常重要。尽管临场构思问题可能有所裨益,但不要临场构思所有的问题。
玩家在设置过程中的惊喜和挫折越少,体验和反馈就越好。
1.1 现场监管
如果是前往我们的办公室或其他地点,玩家需要有时你不以为然但却十分重要的大量细节。这将帮助玩家获得更好的体验。细节包括:
我们从自己的营销电邮列表,工作室的朋友和家人,以及与我们公司有关系的当地高中、学院或大学招聘测试人员。
1.2 远程无人监管
对于无监管远程游戏测试,我们最近开始使用平台UserTesting。UserTesting记录测试人员的PC、平板电脑或智能手机屏幕。通过这个平台,我们可以接触到美国、加拿大和世界其他国家的近200万人(并不是所有人都拥有虚拟现实设备)。要在这个平台进行测试,你需要预先完成一系列测试前的规划工作,但我们可以在将来的测试中重复利用测试问题和任务,不必花费时间单独地调整每个测试,从而节省时间。
首先,我们在UserTesting启动一个招募测试以寻找拥有合适硬件(如Oculus
Quest
)的测试人员。玩家可以在UserTesting平台演示将Quest画面投屏到手机或PC的能力。这个10到15分钟的测试不需要下载我们的游戏。这是一种从技术角度确保游戏测试顺利进行的方法,因为我们没有亲自在现场帮助他们。在招募期间,测试者可以选择提供电子邮件地址。这将用于后续的游戏测试,因为测试者可以通过我们的Oculus Playtest Release Channel访问我们的游戏。
为了允许测试者访问我们正在开发的游戏,我们在Oculus Dashboard创建了一个Playtest Release Channel,并在每次启动远程无监管测试时添加测试人员的电子邮件地址。
在无监管游戏测试中,我们通过书面指示引导测试人员完成每个步骤。有一些重要的,对于无监管的远程会话,我们需要提供基本但重要的提示。下面是建议:
我们希望确保一个多元化的测试群组,所以收集测试人员的统计数据,并询问与无障碍相关的问题十分有用。我们最近开始询问玩家哪只手是主导手(或者术语双手灵巧型),以及是否存在残疾或无障碍需求。
如果给出正确的说明和常见的故障排除提示,大多数玩家都能够投屏Quest。以下是我们向测试人员提出的建议:
对于这种测试模式,当玩家在游戏时自言自语能够提供重要的数据见解,所以我们在测试开始时会提醒他们在执行任务时说话。
最后,因为玩家是通过手机或PC阅读测试说明,所以我们会在用户穿戴头显前先设置好测试所需的所有信息。测试人员只需要在游戏后回答问题即可,所以不需要频繁地戴上摘下头显并反复来回手机或PC。除了会令玩家感到不适外,这种行为会造成投屏断开,并导致UserTesting平台的其他技术问题。另外,这同时可以提供一种更为真实的游戏体验,无需中断游戏进程。
1.3 远程有人监管(实时)
对于远程有人监管(实时)测试,我们安排了多个30分钟到1小时的实时会话,并通过视频会议或UserTesting平台与测试人员共同进行。我们的设计师充当管理者,指导测试人员提供如何设置投屏和如何下载游戏。当测试人员遇到技术困难或陷入困境,沮丧或不确定如何在游戏中前进时,管理者同样会提供帮助。在这种实况会话中,设计师可以向测试人员询问开放式的问题,如“你认为接下来应该做什么?”或“你为什么要进行x,y,z交互?”。
当产品处于早期开发阶段并且需要额外的指导或提示时,远程有人监管测试特别有用。类似地,它有助于测试可能需要花费大量时间或技巧的后期关卡或游戏部分。
为了确保测试人员拥有现场测试所需的一切,我们对无人监管测试采取类似的协议,但不同的是,管理者会大声地阅读包含指示的脚本,而非测试人员通过PC或手机读指示。
能够与测试人员沟通,并同时听到和看到其游戏非常关键。所以,我们通常在现场测试的前10分钟里帮助测试人员设置投屏方法和视频/音频。我们经历过的最成功方法是,测试人员将虚拟现实视图投屏到智能手机的Oculus应用程序,并同时通过视频会议与我们分享。
另一个简单的选择是要求测试人员非公开地将游戏流式传输到
Facebook
页面。但如果你的游戏尚未发布,你或许不会考虑这个选项。尽管相关页面提供了一个“Private”设置,但用户非常容易忽略这个设置,并因而公开你的游戏画面。
2. 促进测试
这里是我们积累的经验技巧,包括有助于我们获得可操作见解的过程和策略。
2.1 现场监管
2.2 远程无人监管
2.3 合适的问题
3. 数据分析/后期游戏测试
下面我们来看看用来分析测试结果的过程,工具和数据点。
3.1 远程无人监控
我们使用的平台为每个游戏测试创建一个录制视频,以及测试者对问题的书面回复。它同时提供了关于每名玩家的统计信息,包括年龄、性别、职业、家庭收入、喜欢的游戏类型、以及是否拥有孩子。它同时允许我们创建简短的视频片段,并用标签突出显示,以便团队中的其他人更容易查看视频的相关部分。例如,当使用一个类似#playerdies(玩家死亡)的标签时,你很容易搜索到于与玩家死亡相关的所有部分,并分析任何模式或惊喜。
剪辑和标签包含时间戳,所以我们可以测量玩家执行特定动作所需的时间,如完成教程或成功通关。
3.2 所有测试
我们正在努力建立一个管道,并使用Unity Analytis接收和分析结果。这个平台承诺提供游戏中最常见或最不常见的玩家体验数据,比如玩家死亡的最常见原因。我们预先创建目标行为范围,并使数据落在范围之内。一旦我们有足够的数据进行回顾分析,我们就可以改变游戏并观察结果。
4. 进一步学习
即使游戏尚未完备,都不要害怕过早进行测试。大多数开发者发现从原型和未完成关卡中获得玩家的见解十分有价值。它可以帮助提醒玩家游戏尚未结束。
尽早做好准备,在过程中加入游戏测试,为团队成员分配时间准备测试、招募人员、调整测试、分析反馈,当然,不能放松对游戏的调整优化。这通常比预期要长,但完全值得。
0