Apple Vision Pro 是为设计、控制和构建 XR 应用而设计的工具。在这篇客座文章中,艺术家兼软件工程师 Sterling Crispin 提供了一份关于如何使用 Apple Vision Pro 的简明指南。他介绍了该平台的概述、工具、应用迁移、产品设计、原型设计、感知设计和商业建议等内容。
在概述部分,他解释了 visionOS 上应用的组织方式,包括窗口、容器和空间。窗口是环绕用户的有界矩形内容,可以来自不同应用或同一应用的多个窗口。容器包含3D对象或小型交互场景,而空间则提供完全沉浸式的体验。
在用户输入方面,Vision Pro 提供了多种交互方式,包括查看 UI 并进行捏合操作、触摸窗口、使用蓝牙触控板或视频游戏控制器、视线和语音操控搜索栏,以及一种只能使用眼睛进行输入的功能。
Vision Pro 还具备先进的空间音频系统,可以通过考虑房间的尺寸和材质来实现声音的真实存在感。
开发方面,如果希望在Vision Pro、iPad和iOS之间构建应用,可以使用苹果生态系统中的工具如 XCode 和 SwiftUI。而如果目标是在 Vision Pro 上创建完全沉浸式的 VR 体验,并且在其他头显上进行使用,需要使用 Unity。
在苹果生态系统中,使用 SwiftUI 创建用户界面,RealityKit 处理材料、3D 对象和光线模拟,ARKit 进行高级场景理解,而 Reality Composer Pro 是一个3D内容编辑器,可用于创建富媒体的空间或容器。Composer是一个拥有丰富资源、材质和动画的工具,可以帮助非艺术家的开发人员快速构建内容,并为使用该工具构建的所有内容提供更统一的外观和感觉。对于现有的iOS应用来说,将其移植到Vision Pro时,可能无需修改就可以在共享空间中作为窗口正常工作,如果应用同时支持iPad和iPhone,头戴设备将使用iPad版本。使用Ornament API可以改善现有iOS应用在头戴设备上的体验,通过在应用前面或旁边创建浮动的UI岛屿,增加更强的空间感。使用Unity游戏引擎可以构建Vision Pro,支持构建共享空间的有界体积和基于增强现实功能的无界体积,同时可以构建更像虚拟现实的应用。建议设计师、产品经理和CEO购买Quest头戴设备,并在其中花费100小时,开始理解空间应用的语言。建议从Hand Physics Lab和YouTube VR等应用开始,观察有效和无效的设计,思考舒适度、快乐和价值实现度、直观性,以及愿意多次体验的内容。总体设计建议是采用IDEO风格的设计思维过程,并尽快构建出填补真实人类需求的产品,并逐步改进。空间计算和交互设计是XR应用开发中需要考虑的重要因素。预计用户会倾向于避免过多的移动,因此应尽量减少用户的运动量。应用程序的目的应通过空间布置和交互模式来展现,即形式追随功能。
原型设计时建议使用纸张和硬纸板制作粗糙的界面模型。考虑到用户界面对肩膀肌肉的负担,可以使用胶带粘在墙上,用便利贴来模拟用户界面。同时,使用Oculus Quest来尝试现有的应用程序是一个很好的原型设计工具,特别是在空间应用程序的早期开发阶段。ShapesXR应用程序可以在空间中勾画创意、创建故事板,并支持与远程用户的实时协作。
此外,可以使用Quest创建具有逼真虚拟客厅的虚拟现实中的增强现实模型,以增加用户的沉浸感。如果预算更大,Quest Pro可以提供完整的透明增强现实功能。对于拥有较大预算的公司,Varjo XR-3也是值得考虑的选择,它在VR市场上的表现接近Vision Pro,具有高质量的透明能力、高分辨率显示、手部追踪和地图建立等功能。然而,Varjo XR-3的售价为6500美元,且需要价值2-3千美元的电脑供电。Pro上的游戏和媒体应用程序是非常有意义的。通过结合视觉和音频效果的全沉浸体验,可以为用户提供令人印象深刻的娱乐体验。
对于游戏开发者来说,Vision Pro提供了强大的图形性能和灵活性,可以实现高质量的游戏画面和流畅的动画效果。此外,Vision Pro的头戴式设备还可以提供真实感触觉反馈,进一步增强游戏体验。
对于媒体应用程序,如视频播放器或虚拟电影院,Vision Pro的高分辨率显示和优质音频输出可以营造出身临其境的观影体验。用户可以身临其境地欣赏高质量的影像和声音,感受到电影和视频作品所传达的情感和氛围。
总体而言,Vision Pro是一款出色的开发套件,可以为开发者提供丰富的创作和设计工具。不论是设计空间计算应用程序、UI设计、网页设计,还是游戏和媒体应用程序开发,Vision Pro都是一个值得考虑的选择。当使用Pro进行游戏或复杂沉浸体验时,您可能更倾向于使用Unity而不是苹果生态系统工具。从技术角度来看,您可以使用SwiftUI、RealityKit和ARKit构建游戏,但可能会很困难。然而,使用苹果工具而不是Unity的原因是多样的。例如,如果您是iOS开发人员,熟悉Swift和苹果的开发生态系统,并且不想学习Unity,或者您不关心您的体验是否可以在其他设备上运行,那么使用苹果工具可能更适合您。或者,您可能希望构建一些高性能的内容,挑战设备的极限。
在设计游戏和体验时,空间位置和输入方式的组合可能会让人感到困扰。因此,在开始时进行广泛的头脑风暴,制作纸质原型,并尝试Quest的内容。如果您从电影制作或2D媒体转行而来,请向游戏开发人员学习,了解他们如何引导用户在交互式的3D空间中注意力,这些知识在空间计算中也适用。体验可以是2D的,以悬浮窗的形式出现,或者锚定在墙上、放在桌子上或放在地板上。这些情境为游戏机制提供了完全不同的机会。
在输入方式上,您可以看着物体并捏住它,或者触摸漂浮在空间中或锚定在表面上的物体,还可以使用蓝牙游戏控制器、键盘和鼠标或声音控制等等。您还可以结合其他设备,充分利用更多的iPhone设备。与Vision Pro配合使用,可能有不对称体验,例如一个玩家在Vision Pro上体验游戏,而另一个玩家在手机上观察并加入战斗。
对于现有的PC游戏,苹果推出了一个名为Game Porting Toolkit的开发者工具,用于将高端PC游戏移植到Mac。虽然不确定是否明确表示移植的游戏能否在Vision Pro上运行,但通过虚拟桌面功能,您可以将Mac视为Vision Pro中的巨大虚拟屏幕,并连接蓝牙游戏手柄,尽情享受游戏。虽然现在有一些指南可以让像《埃尔登环》这样的现有游戏在Mac上运行,但请记住,这些指南是针对开发人员的工具,现有游戏尚未进行优化。
对于初创企业和企业,Vision Pro和空间计算具有明显的商业应用潜力。从真实的问题出发,寻找解决方案。避免幻想未来可能需要的东西。空间计算具有许多优势,适用于教育、制造和媒体等领域。使用虚拟现实(VR)和增强现实(AR)技术,人们可以更容易地学习和理解空间相关事物。例如,飞机制造商空中客车已经使用HoloLens在生产过程中加速了电缆安装过程。亚马逊的移动应用程序也提供了AR功能,让用户可以在自己的房间中查看产品并了解真实尺寸。此外,多样的用户输入方式可以丰富应用程序的表达性,例如音频制作应用程序可以模拟多种音乐设备。
然而,空间计算也存在一些不足之处。首先,在快速运动时使用头戴设备可能导致晕动病,计算机视觉跟踪可能失败,设备也容易摔坏。其次,VR和AR头戴设备通常不适合长时间使用,因为会对用户体验产生负面影响。
建议在产品开发过程中采用快速失败和转型的策略,通过模拟和用户反馈来不断改进产品。对于现有产品,可以尝试将其移植到适用于头戴设备的平台上,并找出适合空间计算的关键时刻,使之成为应用程序的亮点。同时要避免过度空间化和分散内容,保持整体的一致体验。