Apple Vision Pro 是为设计、控制和构建 XR 应用而设计的工具。在这篇客座文章中，艺术家兼软件工程师 Sterling Crispin 提供了一份关于如何使用 Apple Vision Pro 的简明指南。他介绍了该平台的概述、工具、应用迁移、产品设计、原型设计、感知设计和商业建议等内容。 在概述部分，他解释了 visionOS 上应用的组织方式，包括窗口、容器和空间。窗口是环绕用户的有界矩形内容，可以来自不同应用或同一应用的多个窗口。容器包含3D对象或小型交互场景，而空间则提供完全沉浸式的体验。 在用户输入方面，Vision Pro 提供了多种交互方式，包括查看 UI 并进行捏合操作、触摸窗口、使用蓝牙触控板或视频游戏控制器、视线和语音操控搜索栏，以及一种只能使用眼睛进行输入的功能。 Vision Pro 还具备先进的空间音频系统，可以通过考虑房间的尺寸和材质来实现声音的真实存在感。 开发方面，如果希望在Vision Pro、iPad和iOS之间构建应用，可以使用苹果生态系统中的工具如 XCode 和 SwiftUI。而如果目标是在 Vision Pro 上创建完全沉浸式的 VR 体验，并且在其他头显上进行使用，需要使用 Unity。 在苹果生态系统中，使用 SwiftUI 创建用户界面，RealityKit 处理材料、3D 对象和光线模拟，ARKit 进行高级场景理解，而 Reality Composer Pro 是一个3D内容编辑器，可用于创建富媒体的空间或容器。Composer是一个拥有丰富资源、材质和动画的工具，可以帮助非艺术家的开发人员快速构建内容，并为使用该工具构建的所有内容提供更统一的外观和感觉。对于现有的iOS应用来说，将其移植到Vision Pro时，可能无需修改就可以在共享空间中作为窗口正常工作，如果应用同时支持iPad和iPhone，头戴设备将使用iPad版本。使用Ornament API可以改善现有iOS应用在头戴设备上的体验，通过在应用前面或旁边创建浮动的UI岛屿，增加更强的空间感。使用Unity游戏引擎可以构建Vision Pro，支持构建共享空间的有界体积和基于增强现实功能的无界体积，同时可以构建更像虚拟现实的应用。建议设计师、产品经理和CEO购买Quest头戴设备，并在其中花费100小时，开始理解空间应用的语言。建议从Hand Physics Lab和YouTube VR等应用开始，观察有效和无效的设计，思考舒适度、快乐和价值实现度、直观性，以及愿意多次体验的内容。总体设计建议是采用IDEO风格的设计思维过程，并尽快构建出填补真实人类需求的产品，并逐步改进。空间计算和交互设计是XR应用开发中需要考虑的重要因素。预计用户会倾向于避免过多的移动，因此应尽量减少用户的运动量。应用程序的目的应通过空间布置和交互模式来展现，即形式追随功能。 原型设计时建议使用纸张和硬纸板制作粗糙的界面模型。考虑到用户界面对肩膀肌肉的负担，可以使用胶带粘在墙上，用便利贴来模拟用户界面。同时，使用Oculus Quest来尝试现有的应用程序是一个很好的原型设计工具，特别是在空间应用程序的早期开发阶段。ShapesXR应用程序可以在空间中勾画创意、创建故事板，并支持与远程用户的实时协作。 此外，可以使用Quest创建具有逼真虚拟客厅的虚拟现实中的增强现实模型，以增加用户的沉浸感。如果预算更大，Quest Pro可以提供完整的透明增强现实功能。对于拥有较大预算的公司，Varjo XR-3也是值得考虑的选择，它在VR市场上的表现接近Vision Pro，具有高质量的透明能力、高分辨率显示、手部追踪和地图建立等功能。然而，Varjo XR-3的售价为6500美元，且需要价值2-3千美元的电脑供电。Pro上的游戏和媒体应用程序是非常有意义的。通过结合视觉和音频效果的全沉浸体验，可以为用户提供令人印象深刻的娱乐体验。 对于游戏开发者来说，Vision Pro提供了强大的图形性能和灵活性，可以实现高质量的游戏画面和流畅的动画效果。此外，Vision Pro的头戴式设备还可以提供真实感触觉反馈，进一步增强游戏体验。 对于媒体应用程序，如视频播放器或虚拟电影院，Vision Pro的高分辨率显示和优质音频输出可以营造出身临其境的观影体验。用户可以身临其境地欣赏高质量的影像和声音，感受到电影和视频作品所传达的情感和氛围。 总体而言，Vision Pro是一款出色的开发套件，可以为开发者提供丰富的创作和设计工具。不论是设计空间计算应用程序、UI设计、网页设计，还是游戏和媒体应用程序开发，Vision Pro都是一个值得考虑的选择。当使用Pro进行游戏或复杂沉浸体验时，您可能更倾向于使用Unity而不是苹果生态系统工具。从技术角度来看，您可以使用SwiftUI、RealityKit和ARKit构建游戏，但可能会很困难。然而，使用苹果工具而不是Unity的原因是多样的。例如，如果您是iOS开发人员，熟悉Swift和苹果的开发生态系统，并且不想学习Unity，或者您不关心您的体验是否可以在其他设备上运行，那么使用苹果工具可能更适合您。或者，您可能希望构建一些高性能的内容，挑战设备的极限。 在设计游戏和体验时，空间位置和输入方式的组合可能会让人感到困扰。因此，在开始时进行广泛的头脑风暴，制作纸质原型，并尝试Quest的内容。如果您从电影制作或2D媒体转行而来，请向游戏开发人员学习，了解他们如何引导用户在交互式的3D空间中注意力，这些知识在空间计算中也适用。体验可以是2D的，以悬浮窗的形式出现，或者锚定在墙上、放在桌子上或放在地板上。这些情境为游戏机制提供了完全不同的机会。 在输入方式上，您可以看着物体并捏住它，或者触摸漂浮在空间中或锚定在表面上的物体，还可以使用蓝牙游戏控制器、键盘和鼠标或声音控制等等。您还可以结合其他设备，充分利用更多的iPhone设备。与Vision Pro配合使用，可能有不对称体验，例如一个玩家在Vision Pro上体验游戏，而另一个玩家在手机上观察并加入战斗。 对于现有的PC游戏，苹果推出了一个名为Game Porting Toolkit的开发者工具，用于将高端PC游戏移植到Mac。虽然不确定是否明确表示移植的游戏能否在Vision Pro上运行，但通过虚拟桌面功能，您可以将Mac视为Vision Pro中的巨大虚拟屏幕，并连接蓝牙游戏手柄，尽情享受游戏。虽然现在有一些指南可以让像《埃尔登环》这样的现有游戏在Mac上运行，但请记住，这些指南是针对开发人员的工具，现有游戏尚未进行优化。 对于初创企业和企业，Vision Pro和空间计算具有明显的商业应用潜力。从真实的问题出发，寻找解决方案。避免幻想未来可能需要的东西。空间计算具有许多优势，适用于教育、制造和媒体等领域。使用虚拟现实(VR)和增强现实(AR)技术，人们可以更容易地学习和理解空间相关事物。例如，飞机制造商空中客车已经使用HoloLens在生产过程中加速了电缆安装过程。亚马逊的移动应用程序也提供了AR功能，让用户可以在自己的房间中查看产品并了解真实尺寸。此外，多样的用户输入方式可以丰富应用程序的表达性，例如音频制作应用程序可以模拟多种音乐设备。 然而，空间计算也存在一些不足之处。首先，在快速运动时使用头戴设备可能导致晕动病，计算机视觉跟踪可能失败，设备也容易摔坏。其次，VR和AR头戴设备通常不适合长时间使用，因为会对用户体验产生负面影响。 建议在产品开发过程中采用快速失败和转型的策略，通过模拟和用户反馈来不断改进产品。对于现有产品，可以尝试将其移植到适用于头戴设备的平台上，并找出适合空间计算的关键时刻，使之成为应用程序的亮点。同时要避免过度空间化和分散内容，保持整体的一致体验。

摄影测量应用「RealityScan」！继 iOS 版之后，Android 版终于发布了！

在WWDC23上，苹果公司介绍了其新头显产品Apple Vision Pro及其操作系统VisionOS，强调了动态注视点渲染功能。最新公布的专利“带有注视点渲染的透视校正矢量图形”涉及设备和方法，通过基于用户的注视方向高效渲染图形内容。该技术适用于头戴式设备，并可根据头部运动调整图像和声音的呈现，提高了特定区域的渲染质量，同时优化了计算资源的使用。此专利还可能应用于未来的iPhone、iPad等产品。

苹果公司在香港申请了新商标“Apple Immersive Video”，该申请涉及国际第09、38和42类。尽管苹果在WWDC23提及开发沉浸式应用程序，但“沉浸式视频”的具体含义尚未解释。第09类涵盖可穿戴设备、虚拟和增强现实硬件及软件等；第38类涉及通过各种网络传输多媒体内容；第42类包括设计和开发计算机硬件及软件等。商标类别的划分对后续法律案件具有重要影响。

Epic Games免费公开了在GDC 2023上亮相、基于Unreal Engine 5.2的PCG框架构建的自然地形演示项目「Electric Dreams 环境」。

2022年，Meta在美国推出了Meta Quest数字礼品卡，并于6月16日在加拿大、法国、德国、爱尔兰、日本和英国等国家上线。这些礼品卡可在meta.com及官方零售商处购买，支持不同面值，可通过电子邮件发送个性化信息，适用于Quest商店的所有游戏和应用，但不可用于购买硬件如Meta Quest 2。

Niantic近日在戛纳国际创意节上推出了新的“奖励AR”互动广告形式，作为官方AR合作伙伴，该广告形式利用手机摄像头创造沉浸式品牌体验。通过Niantic的AR开发平台8th Wall，用户能够在现实世界中移动并与品牌内容互动，以解锁游戏内奖励，提升广告的有效性。例如，Circle K通过“奖励AR”广告成功提升了新咖啡产品的知名度，参与率达到76%，体验完成率高达95%，显示出强于传统静态广告的品牌影响力。

Valve再次推出了Steam Next Fest，这是一个展示即将推出的PC游戏免费试玩的独立游戏展示活动。在本次展示的二十几款VR游戏中，我们选出了一些最有潜力的试玩版本。 今年Steam对寻找VR游戏的过程稍微复杂了一些。以往，VR游戏有自己的选项卡，但这次你需要在搜索框中应用“VR”筛选器。 Steam Next Fest已经开始，时间是6月19日至6月26日。请查看以下我们推荐的前五个游戏，没有特定顺序，看看您想要先试玩哪个。无论如何，您可以在Steam Next Fest页面上找到所有参展的游戏和免费试玩版本。 - 地狱扫雷VR：一款动作格斗游戏，将于九月底发布。 - DAVIGO：一款大卫对抗歌利亚的战斗游戏，提供最新Alpha版本的试玩内容。 - STACK：一款多人高空飞行游戏，包括死亡竞赛和团队死亡竞赛模式。 - 弗利派筹备2: 永别：弗利派筹备的续作，带来了更多新奇故事和充满阴谋的VR世界。 - Tea For God：一款采用生成无限空间的不可能空间的冒险游戏，融入了街机射击和Roguelite射击探险元素。 您可以在Steam Next Fest VR页面上查看所有试玩版本。在那里您将找到与开发人员的问答会话以及提供的所有试玩版本。Next Fest持续到6月26日，所以一定要去试玩以上所有游戏。

Meta Quest即将发布v55固件更新，预计将显著提升Quest 2和Quest Pro的性能。其中，Quest 2的CPU性能提升26%，GPU性能提升19%；Quest Pro的GPU性能提升11%。部分VR开发者已提前体验，给予高度评价。游戏《Heartlands》的新战斗系统帧率由40-50提升至65帧以上。更新还引入了动态分辨率缩放（DSR）功能，能根据GPU需求自动调整渲染分辨率。预计v55版本将在本周或下周面向用户推出。

中兴通讯在MWC发布了Nubia Neovision Glass智能眼镜，现已在欧盟、中东、亚太和南非正式发售，售价529美元。该眼镜亮度达1800尼特，视场角为43º，分辨率1920×1080，每英寸3500个像素，重量仅79克，支持屈光调节0-500°。可与平板电脑、笔记本、PS5、Xbox、Switch和无人机连接，且可通过投影盒与无DP接口手机连接使用。