Nweon

机器人训练需要准确的输入数据，因此工业界和学界正在利用XR技术来帮助机器人训练。通过使用头显，人形机器人可以实时复制人类操作员的动作，并通过软件进行实时传输和精确控制输出，同时保持较低的延迟。例如，特斯拉一直在利用VR技术来训练Optimus机器人。 特斯拉表示，Optimus机器人的训练数据来自穿戴VR头显的人类训练员。整个系统的集成包括VR头显、传感器、手套、动捕服和相关软件。通过使用VR头显，Optimus机器人可以1：1地复制人类操作员的动作，并通过软件进行实时传输和精确控制输出，同时保持较低的延迟。此外，这种解决方案具有可扩展的远程数据收集优势，因为来自世界各地的人员无需现场参与就可以为项目贡献。 特斯拉曾积极招募AR/VR相关职位，如AR/VR遥测软件工程师、VR操作主管和数据采集操作员。数据采集操作员需要长时间佩戴和操作动捕服和VR头显，并担负着每天行走超过7个小时、背着重达30磅的重物的任务。据报道，特斯拉过去一年已经为数据采集操作员这一职位招聘了50多名员工。

Wearable Devices宣布Mudra Band手环现已支持Apple Vision Pro。Mudra Band使用表面神经传导传感器来检测手腕的神经信号，并将其转化为手势映射，因此即使手不在Apple Vision Pro的视场之下，用户也能够进行输入导航。团队表示，Mudra Band和Apple Vision Pro的手势交互可以无缝集成，通过将Mudra Band接到Apple Vision Pro，用户可以毫不费力地控制设备，同时结合两者的优点，实现未来主义的高效用户体验。 Wearable Devices指出，这一发展对喜欢替代输入法的用户尤其有益，因为Mudra Band提供了一种无需依赖眼动追踪即可导航visionOS的方法。用户还可以直接从Mudra Band轻松切换苹果设备，并保持交互的一致性。Mudra Band的整合可以通过熟悉和易于使用的输入方法，增强苹果生态系统中的用户体验。 将Mudra Band接到Apple Vision Pro需要启用AssistiveTouch、自定义指针控制、配置手动输入设置，并在iPhone上启动Mudra Band应用程序添加设备。

以色列公司XRHealth正在利用基于PICO头显的平台提供沉浸式医疗保健服务。该公司创始人兼首席执行官埃兰·奥尔认为，XR将成为医疗保健和教育领域最重要的工具之一。XRHealth已经开发了150多个虚拟现实空间，并提供物理治疗、认知测试和心理健康等一系列不同治疗方法。患者可以通过医疗保险计划或每月订阅方式获得定制的PICO头显，并享受个性化的护理计划、视频通话和进度跟踪。奥尔表示，目前公司的治疗主要与创伤后应激障碍有关。XRHealth已收到数千台头显的订单，并计划在2024年底前完成100万例治疗，这些治疗将覆盖各种类型的医疗需求。该公司还获得了来自不同组织的捐款，计划通过沉浸式技术治疗1000名患有创伤后应激障碍的预备役军人及其家属。此外，XRHealth已经与美国的支付方（如Blue Cross、Medicare、Medicaid和AARP）合作，拓展至澳大利亚，并计划于明年进军英国市场。

新加坡国立大学和香港城市大学开发了一种名为ViboPneumo的指戴式触觉设备，通过振动气动反馈来调节用户指垫接触材料表面的感知粗糙度。该设备可以增加或减少物理对象的触觉纹理，同时支持其他触觉特性的感知感觉。实验结果表明，参与者可以感知粗糙度的变化，还可以将一种材料的感知纹理改变为另一种材料。与裸指相比，ViboPneumo在MR体验中可以显著改善用户的触觉体验。研究人员使用气动致动器和振动触觉控制系统来实现这种纹理调节。设备的设计允许用户自由地感知物理表面的触觉，以便在MR中与物理对象和虚拟对象进行交互。实验结果还表明，ViboPneumo可以有效地改变不同材料的感知粗糙度，如玻璃、陶瓷、纸张、木材、棉花和皮革。该研究对于探索如何在MR中改变现有物理对象的感知触觉纹理具有重要意义。

为了推动AR/VR的发展，清华大学和商汤科技合作构建了一个用于六自由度沉浸式体验的密集空间定向光场数据集，名为Den-SOFT。该数据集采用定制化的移动多摄像头系统，拍摄了高质量、密集的光场图像。与现有数据集相比，Den-SOFT具有更高的分辨率、更高的捕获密度和更广泛的场景覆盖，尤其适用于室外场景。研究人员使用40台GoPro 10相机拍摄了5k分辨率的图像，平均每个场景的照片数量为1000张，平均密度为134.68。此外，研究人员还验证了该数据集在三种流行的算法上的有效性，并将重建的结果集成到Unity引擎中，展示了增强虚拟现实真实感和创建可行交互空间的潜力。Den-SOFT的特点包括高分辨率、高密度捕获和广泛覆盖室内外场景。该数据集的提出为推动三维场景重建算法的发展提供了新的资源。

苹果公司通过一项名为“Suppression of hand gestures upon detection of peripheral events on a peripheral device”的专利申请介绍了一种处理方法，该方法支持外设并切换至外设使用模式而非手势使用模式。该方法包括在检测到外设事件后，获取手的姿势信息以确定是否处于外设使用模式。如果确定手处于外设使用模式，系统会忽略或拒绝与手势相关的动作。此外，专利中介绍了使用计算机视觉来确认外设存在的方法。通过激活计算机视觉系统，可以识别外设对象的存在和位置。根据具体情况，手可以退出外设使用模式，例如手腕旋转或手的移动满足特定阈值。此外，专利还介绍了一种处理用户输入手势的技术，根据手的当前输入模式决定如何处理手势。这些技术可以增强用户与外设的交互体验，提高操作的准确性和效率。该专利申请是苹果公司在XR领域的一项创新技术。

8月15日，由国家体育总局汽车摩托车运动管理中心主办、峰何骅科技（上海）有限公司承办的“大众模拟房车赛”在2024 G-Power 数娱节暨第四届南京路步行街电竞嘉年华现场正式开始。开幕式上，大朋VR作为此次赛事的VR设备提供商，派代表进行了活动致辞，强调了VR设备为模拟赛车带来的真实感和沉浸感。赛事分为俱乐部赛和精英选拔赛，获胜者将获得现金奖励、荣誉证书、车队签约权和大朋VR提供的DPVR E4性能版等奖励。赛事现场还展示了以VR为核心组件的模拟赛车体验设备。科技公司峰何骅科技的总经理介绍了赛程和规则，并邀请嘉宾一同启动仪式。在现场，观众们对VR带来的模拟赛车体验赞不绝口。大朋VR希望通过推动VR设备和模拟赛车的深入结合，让职业选手和普通赛车爱好者都能在虚拟赛场上享受竞速乐趣。

今天的促销是关于Meta Quest、Meta Rift和Steam平台上最新的VR应用程序的。Steam和Rift Store是目前主流的PC VR内容平台，而Meta Quest则是国外主流的一体式6DoF移动VR平台。在Steam平台上，有很多VR应用程序正在促销，但没有提供完整的名单。

苹果公司已经申请了一项名为“Motion mapping for continuous gestures”的专利，旨在通过追踪球面坐标系统中基于手势的输入，将手势从球面坐标系统转换为用户界面平面的2D坐标系统。这项专利改进了将用户运动映射到用户界面的过程，提高了设备分析用户输入的能力，并改进了用户界面本身。实施这项专利的方法包括通过检测用户的输入运动并确定输入运动的起源，如肩部、肘部、手腕等关节的位置来确定手势的弧长，并将弧长转换为2D用户界面的组件。这种方法可以提高手势追踪和身体追踪系统的准确性和频率，以更准确地反映用户意图。该专利申请于2023年9月提交，并最近由美国专利商标局公布。

哈尔滨工业大学团队利用鱼眼摄像头进行全景观测在虚拟现实中具有重要意义。然而，传统方法合成的全景图像缺乏深度信息，在VR应用中只能提供三自由度旋转渲染。为了充分保留和利用原始鱼眼摄像头中的视差信息，该团队引入了MSI-NeRF方法，结合了深度学习全向深度估计和视图合成。他们构建了多球图像作为代价体，通过特征提取和变形构建隐式亮度场，实现全方位深度估计和六自由度视图合成。该方法只需通过源视图监督学习场景外观，不需新的目标视图，可以在现有的全景深度估计数据集上进行训练。实验证明，该方法在深度估计和新视图合成任务上优于现有方法。与传统针孔图像相比，全向图像包括水平和垂直的所有视角，可以存储整个场景的信息。然而，传统的拼接方法总会存在误差，且最终生成的图像失去了深度信息。该团队的方法通过保留输入多视角鱼眼图像中的三维信息，可以获得全方位的深度信息并进行六自由度视角合成。该解决方案在虚拟现实领域应用中能够消除三自由度渲染带来的VR晕动症。该研究还提出了一种新的空间视频采集和编辑方法，可以实现旋转和平移的视频去抖。总的来说，该研究团队提出的方法能够将传统的2D全景输出扩展为3D，并保留了视差信息，可以应用于各种VR应用，以消除VR晕动症并实现全景视频编辑和3D重建。