Meta目前尚未向第三方开发者开放Quest的透视相机数据访问权限，但开发者Michael Gschwandtner通过创建一个WebView的测试应用，成功绕过了这一限制，能够访问Quest 3的透视相机数据。该方法涉及将画面投射到Quest内的浏览器，并对接收视图的像素内容进行采样。测试应用还结合了开源的MobileNet V2对象检测模型，实时检测现实物体。Meta对此尚未回复，但曾表示会关注开发人员的权限访问问题。

苹果发布了Vision Pro的官方开发教程，重点介绍如何在visionOS中定制空间容器和沉浸式空间。视频内容涵盖调整空间容器大小、根据用户移动进行互动、利用Digital Crown调整沉浸度的应用反应，以及透视色调的动态效果自定义。此外，陀螺研究院发布了《Apple Vision Pro空间计算内容生态报告》，提供更深入的行业分析。

苹果发布了Vision Pro官方开发教程，重点讲解如何优化3D资产以适应空间计算。视频中介绍了优化网格、材质和纹理的最佳实践，强调利用着色器图形、烘焙和材质实例来提高3D场景的性能。此外，陀螺研究院发布了《Apple Vision Pro空间计算内容生态报告》，提供了有关该设备的更多细节。

苹果发布了针对Vision Pro的官方开发教程，介绍了如何在SharePlay体验中使用自定义空间人物模板，调整角色与应用的位置。视频内容包括示例应用中采用自定义角色模板的步骤、参与者位置移动以及在模拟器中测试功能，同时还分享了设计自定义空间模板的最佳实践。此外，陀螺研究院发布了《Apple Vision Pro空间计算内容生态报告》。

苹果发布官方开发教程，介绍如何使用WebXR为Vision Pro创建沉浸式Web体验，展示了如何利用visionOS的输入功能构建WebXR体验，并在macOS上进行测试。同时，陀螺研究院发布了《Apple Vision Pro空间计算内容生态报告》，提供更多相关的深度分析，感兴趣的读者可扫描二维码获取报告详情。

苹果公司已经申请了一项名为“Motion mapping for continuous gestures”的专利，旨在通过追踪球面坐标系统中基于手势的输入，将手势从球面坐标系统转换为用户界面平面的2D坐标系统。这项专利改进了将用户运动映射到用户界面的过程，提高了设备分析用户输入的能力，并改进了用户界面本身。实施这项专利的方法包括通过检测用户的输入运动并确定输入运动的起源，如肩部、肘部、手腕等关节的位置来确定手势的弧长，并将弧长转换为2D用户界面的组件。这种方法可以提高手势追踪和身体追踪系统的准确性和频率，以更准确地反映用户意图。该专利申请于2023年9月提交，并最近由美国专利商标局公布。

哈尔滨工业大学团队利用鱼眼摄像头进行全景观测在虚拟现实中具有重要意义。然而，传统方法合成的全景图像缺乏深度信息，在VR应用中只能提供三自由度旋转渲染。为了充分保留和利用原始鱼眼摄像头中的视差信息，该团队引入了MSI-NeRF方法，结合了深度学习全向深度估计和视图合成。他们构建了多球图像作为代价体，通过特征提取和变形构建隐式亮度场，实现全方位深度估计和六自由度视图合成。该方法只需通过源视图监督学习场景外观，不需新的目标视图，可以在现有的全景深度估计数据集上进行训练。实验证明，该方法在深度估计和新视图合成任务上优于现有方法。与传统针孔图像相比，全向图像包括水平和垂直的所有视角，可以存储整个场景的信息。然而，传统的拼接方法总会存在误差，且最终生成的图像失去了深度信息。该团队的方法通过保留输入多视角鱼眼图像中的三维信息，可以获得全方位的深度信息并进行六自由度视角合成。该解决方案在虚拟现实领域应用中能够消除三自由度渲染带来的VR晕动症。该研究还提出了一种新的空间视频采集和编辑方法，可以实现旋转和平移的视频去抖。总的来说，该研究团队提出的方法能够将传统的2D全景输出扩展为3D，并保留了视差信息，可以应用于各种VR应用，以消除VR晕动症并实现全景视频编辑和3D重建。

增强现实（AR）作为一项关键技术，能够无缝融合数字世界和物理世界，提高用户参与度和操作效率的有效性。然而，AR应用程序在不受控制的“in the wild”图像中的应用带来了新的挑战，这些图像通常缺乏关键的元数据，对传统的姿势估计方法提出了重大挑战。 为了在单个RGB图像中改进6D姿势估计和相机焦距估计的准确性，韩国庆北国立大学的研究团队提出了一种基于Focalpose的方法。他们通过优化神经渲染和比较策略，改善了姿势预测的准确性。该研究团队还解决了Focalpose固有的模糊性问题，通过固定z轴平移，在AR背景下更精确地放置虚拟对象，并提高对象的深度和尺度估计。 正确估计相机的焦距对于有效校准AR系统至关重要，这对于无缝的AR体验非常重要。研究团队通过光线投射等技术来稳定z轴平移，并提高姿势和焦距估计的准确性，确保虚拟对象在尺寸和位置上的准确渲染。 总之，该研究提出了一种改进的AR姿势估计方法，并解决了焦距估计和姿势估计中的一些挑战，为AR应用的发展提供了新的可能性。

第37届美洲杯帆船赛将于8月22日在巴塞罗那举行，观众可以利用PICO 4 Enterprise头显来体验选手操纵AC75帆船的感觉。美洲杯帆船赛是帆船赛中声望最高的赛事之一，其电视转播已覆盖全球200多个国家和地区，观众累计达29亿人次。游客可以通过PICO 4 Enterprise头显和AC75帆船来体验选手竞赛的刺激感受，驾驶着最先进的AC75赛艇在巴塞罗那海岸线进行比赛，并感受到肾上腺素的飙升。PICO 4 Enterprise头显能够通过逼真的虚拟现实模拟帮助实现这一体验，而且游客甚至可以感受到海风吹过头发的清凉。两艘船的结构可以容纳多达10人，这种完全身临其境的体验提供了一种无与伦比的帆船体验。如果在巴塞罗那，观众可以通过特定网页订票参与体验。

“传奇之旅：马可·波罗与丝绸之路上的世界”是一次展览，正在中华世纪坛艺术馆举行，并将持续到11月14日。除了实体展品外，访客还可以利用PICO G3头显体验“马可波罗VR”，沿着丝绸之路从威尼斯探索中国。意大利总理也进行了这次体验。为了纪念马可·波罗逝世700周年，以及中意建立全面战略伙伴关系20周年，意大利驻华大使馆与其他机构合作举办了这次展览。展览展出了油画、雕塑、珠宝、陶瓷、钱币、纺织品和插画等实体展品，同时访客还可以利用PICO G3头显体验“马可波罗VR”，亲身体验《马可·波罗游记》中描述的旅程。整个项目的设计时间为8-10分钟，分为四个部分，介绍了马可波罗的传奇旅程，穿越丝绸之路 ，到达中国，并展示中国的艺术和技术，最后回到威尼斯。展览将持续到11月24日，之后将在中国的其他博物馆展出。