Nweon

领先的社交媒体公司Meta在构建XR平台方面遇到了挑战。在Meta的头显中与朋友互动非常碎片化，需要通过不同的应用程序和方式进入同一个空间。与之相比，苹果采取了一种不同的社交策略。苹果的Vision Pro头显将社交作为一种期望，为应用程序提供了通用的工具和指导方针，使应用程序从一开始就具有社交性。苹果通过现有的应用生态系统和经过测试的社交技术实现了这一愿景。 苹果的Vision Pro采用了SharePlay技术，允许用户通过FaceTime一起观看、听听音乐等。苹果将为其第一方应用程序提供现成的社交功能，并鼓励开发者采取相同的措施。Vision Pro还支持“Spatial Personas”（通过人脸扫描生成的Avatar），并提供了多种预配置房间布局。通过SharePlay，苹果还提供了后台管道来保持应用程序在用户之间的同步。 值得注意的是，苹果依赖于用户现有的个人朋友图谱，而不是试图创建一个定制朋友列表。苹果强调了“默认具有社交性”、“你已经做过的事”和“你已经认识的人”的概念。 总体而言，苹果在社交方面的策略与Meta有所不同，可能会更加成功。然而，苹果的SharePlay技术在完全沉浸式的社交体验方面存在局限性，对于数量超过5个的Avatar和更多的网络控制可能不够适用。

自2023年10月17日起，Meta Quest 3的发售导致用户开始发布自己与现实世界互动的视频。Meta的新头显允许用户在穿戴设备的同时进行其他活动，如做饭、扫地或享受咖啡。人们开始在户外公共场所穿戴Quest 3，并录制他们的体验。然而，这种行为也引发了一些担忧，比如在电梯等待时的尴尬场景。虽然十年前公众舆论反对谷歌眼镜，但现在对隐私的定义、对公共摄影的容忍以及对可穿戴技术的态度都发生了变化。智能手机摄像头的普及使得商家从相关的网红短视频中受益。然而，人们对Meta Quest 3是否会造成侵犯他人隐私的问题表示关注，因为该设备在录影时没有明显的提示机制。至于Meta如何应对这个问题，目前还没有官方回应。

MEMS微镜在光学应用中需要解决结构强度和变形的问题。现有的解决方案是增加微镜的厚度，但这会增加压力和应力，可能导致性能问题。为解决这一问题，Meta提出了一种名为“Stiffening structures for micro-electro-mechanical system (MEMS) micromirrors”的专利申请。该专利申请描述了一种用于增强MEMS微镜结构的方法，通过在支撑平台上添加多个强化结构来支撑微镜表面，以保持光学平坦度。这些强化结构可以按层级分布，形成不同层次的支撑结构。图例展示了不同形状（方形、圆形）的微镜示例，以及强化结构的位置和密度如何随着径向位置的变化而变化。这些强化结构可以使用标准微加工技术制造，材料可以是硅、氮化硅、氧化硅或碳化硅。该专利申请的目的是减少微镜的质量、扭曲和应力，从而提高其性能。

英伟达回顾了NVIDIA Research和其他机构对电子竞技需求的研究，并讨论了它们对其他交互式应用的影响。随着媒体技术从被动流媒体向参与式交互性体验过渡，人们对显示延迟、刷新率和大小等特征的需求也在改变。在电竞游戏中，响应时间是决定胜负的重要因素，电竞玩家愿意为了获胜而牺牲图形功能。英伟达认为电竞游戏是图像研究人员为注重性能人群设计新渲染系统的机会，同时也对其他交互式应用如AR/MR/VR等产生影响。高帧率交互为新的渲染方法提供了机会。延迟隐藏是一种轻量级方法，VR风格的延迟输入采样和基于图像的扭曲是隐藏延迟的手段。对于电竞玩家而言，最重要的是降低延迟，其次是高空间分辨率，保真效果相对次要。英伟达对电竞研究的前景感到兴奋，认为这将为开发者和游戏玩家提供新工具和设备，同时为VR/MR/AR等交互式应用提供重要参考。

混合现实（MR）技术在地震安全演练方面具有广阔的应用前景。北京科技大学的研究人员利用微软HoloLens构建了一种MR地震演练体验，并发现MR指引可以提高疏散效率。除了在演练中使用，MR还可以通过警报和求生指引等方式在真实地震事件中为用户提供实时帮助。 然而，MR演练仍然面临着一些挑战。研究人员需要解决如何从点云数据中提取非结构构件的几何和空间信息，并重建室内三维场景的问题。他们还需要建立准确的非结构构件物理模型来模拟地震损伤并将其可视化。此外，如何根据非结构构件的震害情况为参与者提供指引也是一个重要问题。 北京科技大学的团队通过HoloLens捕捉室内点云，并利用物理引擎和MR显示技术模拟和可视化非结构构件的地震损伤。他们还开发了一种基于HoloLens的安全区域引导算法，以提供给参与者在地震安全演练中的指导。实验结果表明，MR演练可以显著提高疏散效率。 这项研究为基于MR的地震安全演练提供了一种新的方法，但仍需要进一步完善，如考虑更多的非结构构件的地震损伤模型和安全评分模型等。这将进一步提高参与者的安全能力和演练效果。

日前，Wearable Devices宣布正式加入Khronos Group的OpenXR工作组，并成为具有投票权的成员。Wearable Devices的旗舰产品是Mudra Band，用于Apple Watch，该产品利用人工智能技术和算法集成到腕带中，通过专有传感器识别手指和手腕的动作，实现用户的交互。OpenXR的目标是简化增强现实/虚拟现实软件开发，并帮助应用程序能够在广泛的硬件平台上开展而无需移植或重写代码。通过OpenXR，开发者可以创建真正的跨平台扩展现实XR体验，同时为支持OpenXR的供应商提供更多的应用程序。Wearable Devices的创始人兼首席科学家盖伊·瓦戈拿表示，他们很高兴加入OpenXR工作组，与行业领导者一起为真正的跨平台XR应用开发做出贡献。Khronos Group表示，他们非常高兴Wearable Devices加入OpenXR工作组，并期待他们在可穿戴设备控制领域的贡献。

研究人员在芝加哥大学计算机科学系人机集成实验室开发了一种名为JumpMod的触觉设备，旨在改善虚拟现实（VR）体验的真实感。JumpMod是一个紧凑的可穿戴背包，通过垂直力反馈模拟全身的重力感。它通过五种不同的效果改变用户对跳跃的感知，包括跳得更高、硬落地、软落地、下拉力和上拉力。与其他解决方案相比，JumpMod具有便携、不受束缚的特点，未来可能允许人们在家中获得超逼真的沉浸式体验。 研究人员通过在背包中加入一个可移动的小砝码和电机，控制其上下移动来增加加速度，以模拟重力感。当用户跳过某个物体时，砝码和电机会随着用户的移动移动到背包的顶部。一旦用户落地，重量会以加速的速度向下移动，产生吸收冲击力的感觉。JumpMod在虚拟现实游戏中进行了测试，研究人员希望通过物理效果的增强使VR体验更加逼真，并与日常生活兼容。

高通在一篇文章中介绍了两篇提高深度感知和3D重建的论文贡献。第一篇论文主要解决体三维神经场景重建中的深度模糊问题，建议利用从深度估计中获得的深度先验来指导特征反投影过程，并提出了两种可选择的特征融合机制，通过减少错误特征并改善目标分离来改善重建质量。第二篇论文解决了自监督深度估计中反射表面的问题，通过聚合未受强镜面反射污染的表面视图来重建反射表面，并使用一种不确定性引导的深度融合方法来提高预测精度。这些研究成果不仅在在线方法中实现了最佳的性能效率权衡，还在重建质量和完整性方面取得了显著提高，达到了接近最好的离线方法的水平。团队的目标是突破感知功能质量的极限，为XR技术最终用户和开发人员提供更好的体验。

Polyarc的新PvP游戏《Glassbreakers: Champions of Moss》在Meta App Lab上线，并在Steam上架，支持Steam VR头显。Polyarc工作室之前制作的《Moss》和续集《Moss: Book II》是备受欢迎的VR动作冒险游戏之一。全新的PvP游戏《Glassbreakers: Champions of Moss》延续了《Moss》的宇宙设定，包括角色和美术风格。玩家可以选择宇宙中的三个角色组成斗士小队，在1v1实时战斗中与朋友或随机对手对战，胜利的条件是率先攻破对方的琉璃大本营。每个斗士都有独特的能力，玩家可以根据自己的喜好组合斗士，确保小队风格独特。战斗中，玩家需要指挥小队攻击敌方斗士和琉璃大本营，利用战术元素获得战略优势。不断变化的小队组合和战斗风格带来多样性的玩法，每场对局都具有独特的机遇和挑战。《Glassbreakers: Champions of Moss》已经免费上架Steam，支持SteamVR头显。

Meta最近推出了Mesh API和Depth API，旨在丰富MR体验中的交互并提高真实感。Mesh API允许访问Scene Mesh，将物理世界重建为基于三角形的网格，从而实现更精确的物理效果、导航和避障以及精确的内容放置。要开始使用Mesh API，可以参考相关文档并查看示例应用代码。而Depth API可以解决物理对象遮挡虚拟元素的渲染问题，从而实现更流畅的社交和游戏体验、创造性的基于深度效果以及可信的手部交互和体验。使用Depth API时，建议同时使用Scene Mesh API以覆盖更广泛的用例。Meta建议在构建混合现实应用程序时，首先进行空间设置以构建场景表示，然后使用Depth API的深度图进行遮挡渲染，并根据场景数据进行增强。要开始使用Depth API，可以访问相关文档并查看示例代码。使用Mesh API和Depth API时，需要考虑物理环境和动态交互，并熟悉相关的场景理解工具和功能。