人机交互正在软件和硬件层面同时迎来革命，AI的快速发展及其硬件的进步使人机交互方式全面重塑。Vision Pro是一个重要转折，但未来更多的设备和交互形式将不断出现。蓝驰创投将于7月27日举行关于“AI驱动的人机交互创新”的讨论会，邀请人机交互领域的学者和专家进行深入探讨。与会嘉宾包括来自中国科学院、亚马逊云科技、Viture、Oladance和元籁科技的CEO及专家。

苹果于7月24日在官网发布了“Apple Vision Pro兼容性评估”，正式开放Vision Pro开发者硬件申请。该指南帮助开发者确保VisionOS、iPadOS和iOS应用程序在Vision Pro上正常运行，提供了详细的兼容性检查和开发建议，包括应用程序功能、性能、错误处理等方面的要求。开发者需在提交评估请求之前，确保应用程序符合相应标准，并能够妥善处理未授予权限的情况。有关申请和兼容性检查的链接已提供。

微软公司已提交一项名为“利用机器学习解释谐振传感器数据”的专利申请，介绍了一种通过谐振式电感-电容传感器和机器学习方法识别面部表情的方法。该技术可以取代使用摄像头进行面部追踪，从而减小设备的尺寸、重量、成本和功耗。专利描述了头显设备配置的实施例，其中每个谐振式传感器通过输出信号来识别靠近传感器表面位置的面部表情。谐振传感器通过在天线产生振荡信号并检测靠近传感器表面位置的近场响应来工作，从而允许感测表面相对于传感器的位置发生变化。机器学习函数可以从谐振传感器的输出确定面部表情，并将其用作计算设备的输入，例如用于控制设备功能或映射到虚拟角色。此技术在面部追踪数据的隐私保护方面也具有优势，因为谐振传感器输出的数据可以通过加密模块进行加密处理。在训练过程中，可以使用合成数据来训练机器学习函数，这比使用物理训练数据更有效。

Meta的Unreal分支最近集成了高通的Adreno Offline Compiler（AOC），该编译器可用于分析和优化材质着色器的性能。在以前，Unreal开发者没有离线改进Meta Quest材质着色器的快速迭代方法。但现在，通过AOC，Quest开发者可以轻松访问丰富的着色器统计数据，并大大缩短材质迭代时间。AOC直接在UE5材质编辑器中为不同的着色器提供丰富的统计信息，并支持各种命令行选项，为开发者和游戏引擎提供更大的灵活性。尽管AOC可以帮助分析和优化材质着色器的性能，但在比较材质性能时需要注意材质之间的差异，如流控制、内存访问等因素。关于如何设置环境以及用例的具体细节可以参考介绍文档。虽然AOC集成目前仅支持Meta的Unreal分支，但Meta团队正在与Epic合作将此功能带到Unreal主分支中。Meta表示相信AOC是一个强大的工具，可以帮助开发者分析和优化材质着色器的性能，从而大大减少材质迭代时间。

Meta 在其最新版本的 Quest v56 系统中通过 Hand Tracking 2 2 对手部追踪进行了优化，重点是提高手的响应能力。这一优化使得用户体验更接近于使用控制器进行操作，并在典型用例中最多减少了 40% 的延迟，在快速移动中最多减少了 75% 的延迟。此外，团队还进行了其他改进，提高了快节奏游戏的反应速度。Meta 的首席技术官安德鲁·博斯沃思通过 Twitter 补充了关于手部追踪的信息，其中 v56 版本将允许用户同时通过裸手和控制器进行交互。Meta 还通过两个全新的 API 解锁了两种与手部追踪相关的新体验，即手+控制器的同时交互和由控制器驱动的手部姿态。此次更新还使得用户可以无缝切换在裸手交互和控制器交互之间。需要注意的是，这些功能目前只是 Quest Pro 的实验性功能，但预计后续会推出到 Quest 3 等设备上。

苹果公司将于2023年举办Vision Pro开发者实验室活动，并正在招募有兴趣的开发者申请参加。这些实验室将分别设在库比蒂诺、伦敦、慕尼黑、上海、新加坡和东京。任何至少年满18岁的苹果开发者项目或苹果开发者企业项目的现有成员都可以申请参加为期一天的活动。申请人需要使用苹果ID登录并完成请求表单，同时提供应用程序在visionOS模拟器中运行的截图。苹果将优先考虑正在积极开发全新visionOS应用程序的开发者，以及为visionOS增强现有iPad或iOS应用程序的开发者。如果申请通过审批，参与者将被邀请参加实验室活动，在活动中可以亲身体验在Vision Pro上运行的应用程序，并在苹果的支持下优化和测试自己的应用程序。有兴趣参加Vision Pro开发者实验室活动的开发者可以访问相应页面进行申请。

苹果日前开放了Vision Pro开发套件的申请通道，开发者可以通过申请获得实机来帮助他们预备新开发的空间计算应用。申请者需要保证妥善保管和使用设备，并在约定时间归还给苹果，同时需要签署保密协议，不得在公共场所使用设备或对外泄露特定信息。对于获批的开发者，苹果将提供Vision Pro设备，并提供设置、登录设备以及UI设计和开发方面的指导等支持。申请者还需注意保密协议的规定，禁止在公开场合讨论此设备，也不允许家人、朋友或员工访问、查看或操作设备。苹果还将在全球六个城市推出Vision Pro开发者实验室，允许开发者体验Vision Pro运行的visionOS、iPadOS和iOS App，并提供帮助测试和优化App和游戏的支持。

苹果已经开始接受 Vision Pro 开发者套件的申请，该套件将发送给应用开发者，用于启动其首个专为 XR 特定应用商店准备的设备。 预计 Vision Pro 将在 2024 年初发布，附带一系列最初为 iPad 开发的官方应用程序，包括基本的 Safari、Photos、Music、Messages，甚至为 FaceTime 提供的 avatar 支持。 在苹果 6 月的 WWDC 发布会上，对第三方应用程序的清单并未给出太多详情，只列出了一些应用，包括 Word、Excel、Teams、Disney+、Zoom、WebEX 和 Rec Room。而 Rec Room 是唯一在主题演讲中以 VR 游戏形式展示的游戏。 苹果将这款头戴设备定位为一种通用计算设备，可以完成大部分笔记本电脑可以做的事情。然而，这款价格为 3500 美元的专业级头戴设备如果希望为后续更廉价的设备开创先河，可能需要更多支持兼容二维应用程序，这些设备很可能面向普通消费者。 虽然虚拟设备模拟器和软件开发工具已经发布了几周，但库比蒂诺科技巨头表示，希望开始使用实际的 Vision Pro 硬件创建应用程序的开发者现在可以申请。 苹果表示，开发者套件还包括帮助设置设备和入门指南，与苹果专家进行 UI 设计和开发指导的定期沟通，以及额外的两个代码级别的支持请求，以便苹果可以协助解决问题。 Vision Pro 开发者套件存在一些相当严格（虽然不完全标准）的限制条件。要求套件必须归还，并存放在未经授权者无法查看、操作或使用的私人安全工作空间中。开发者套件还必须设置密码保护，不能无人看管，也不得未经苹果事先书面同意从操作地点带走。 需要再次强调，这些都是相当标准的措施，以确保开发者不会丢失、泄漏或拆卸设备的组件，以满足全球 XR 媒体的兴奋。我们可能还需要等待一段时间，直到 2024 年初正式发布。

索尼发布了PSVR 2原型的预览，展示了头显和手柄的多个测试单元。高桥安雄透露了PSVR 2的开发过程，从2016年开始讨论。团队在2017年开始进行原型设计，其中舒适性和轻巧的设计是挑战之一。他们评估了不同的配置，考虑了材料和形状，以确保头盔的舒适性和佩戴性。另外，团队还研究了眼球追踪技术，以推动PS5的VR渲染能力，并提供更高保真度的视觉效果。头盔触觉反馈也是新功能之一，类似于DualShock 4无线手柄的震动马达。PSVR 2 Sense手柄与头盔同时开发，早期添加了触觉反馈、适应性触发器和指尖触控检测等功能。通过大量的原型设计和用户测试，最终确定了Sense手柄的形状，以确保舒适佩戴和优化的重心。虽然索尼有更多原型，但他们确定了目前的形式和功能作为未来几年PS5唯一的VR头盔。

Ryan Gonzalez 制作的独特重拓扑插件「G-Mesh」已经发布。据说它可以基于用 Grease Pencil 绘制的拓扑生成多边形。