Nweon

苹果最近的专利展示了几种用于扩展现实系统的物理配套设备。其中一个专利描述了一种小型便携式物理对象，该对象可以与扩展现实系统中的内容交互。该对象可以是无源设备、有源设备或带有显示器的有源设备，用于提供与设备显示内容相关的物理对象。另一个专利展示了一种具有可变旋转阻力机制的环形输入设备，旨在改善用户的使用体验。还有一项专利描述了一种用于视线对齐的视网膜反射追踪技术，该技术通过反射特性检测眼睛的注视方向，从而实现用户与虚拟环境的交互。这些专利显示了苹果对扩展现实技术的持续研究和创新。这批专利中包括了魔视Leap、Meta和谷歌（Google）、苹果（Apple）等公司的AR/VR技术相关专利。其中，魔视Leap的专利包括集中渲染、根据视力诊断健康状况的显示系统、使用可穿戴设备捕捉面部模型、外部照明管理系统和方法等；Meta的专利包括包括偏振选择透镜堆叠的自适应透镜组件、具有一体式垫片的波导等；谷歌的专利包括使用可穿戴设备识别可控设备的位置、连续AR体验的追踪算法、基于先前的注视点和点击信息算法调整图标的点击框等；苹果的专利包括头戴式设备降噪、分布式编码、对象定位等。这些专利涵盖了AR/VR技术的多个方面，包括显示系统、传感器技术、用户交互、眼动追踪等。通过这些专利，这些公司在AR/VR领域展示出了较强的技术实力和创新能力。59 《DigiLens Patent | Holographic waveguide display with light control layer（DigiLens专利：具有光控制层的全息波导显示器）》描述了具有光控制层的波导和波导显示器，其中光控制层被施加到波导的外表面并与光栅的一部分重叠，以转移或阻挡来自光栅组的散射光。 60 《Dispelix Patent | Lightguide of eyewear apparatus, eyewear apparatus and operational and manufacturing method of lightguide（Dispelix专利：眼镜设备的光导，眼镜设备以及光导的操作和制造方法）》描述了一种光导，其中包括布置在耦入光栅和耦出光栅之间的附加光栅，附加光栅包括光栅区域，其中至少两个光栅区域具有公共物理界面和不同方向的光栅矢量。 61 《Lumus Patent | Near-eye display having overlapping projector assemblies（Lumus专利：具有重叠投影组件的近眼显示器）》描述了一种显示器，其中包括至少两个投影仪组件，每个投影仪组件包括光导光学元件（LOE）和图像投影仪布置，这些组件协作以向观看者的眼睛显示具有部分重叠的图像，并且包括控制器，用于减小重叠区域中的所选像素的像素强度，以增强图像的感知均匀性。 62 《Lumus Patent | Compound light-guide optical elements（Lumus专利：复合光导光学元件）》描述了一种光学系统，其中包括具有平行主外表面的光导光学元件、用于将图像耦合向用户眼睛的耦出装置，以及耦入孔径。此外，图像投影仪通过耦合到耦入孔径，将准直图像及其共轭图像引入光导光学元件，从而实现图像的投影。

Meta Quest 3使用两个400万像素的RGB摄像头来捕获物理环境，但利用名为immerGallery的应用，你可以使用这些摄像头来录制立体视频，这是官方暂不支持的。immerGallery是一个照片库应用，可以帮助你正确地设置Quest 3并录制3D视频。你需要一个开发者账号和SideQuest，输入一系列ADB命令后就可以启用immerGallery的3D相机功能。该应用会显示一个数字水位计来帮助你拍摄最佳视频。对于3D照片，你需要在电脑上截取视频截图，然后复制回设备，最后可以使用immerGallery查看。然而，希望Meta在未来能提供自己的3D相机应用，因为immerGallery只是为初学者支持3D照片和视频拍摄，并且Meta的设备更适合这一用例。此外，Apple Vision Pro将提供开箱即用的3D相机功能，由于其更好的传感器，苹果的设备更适合此功能。如果有兴趣，可以在App Lab花15美元购买immerGallery。

映维网Nweon报道，Valve公司的硬件工程师亚赞·阿尔德海亚特和产品设计师劳伦斯·杨在接受YouTube频道“Adam Savage’s Tested”采访时表示，公司依然在探索VR，并且暗示V社的下一代VR头显可能会支持无线PC串流。尽管采访主要关注Steam Deck，但也询问了V社在VR方面的计划。杨在被问及如何将Steam Deck的经验应用于VR硬件时表示，有很多经验可以用到VR的APU和设备小型化方面的工作。而阿尔德海亚特进一步补充道，V社可以利用一系列重叠的技术，包括无线串流，并与零部件供应商和其他硬件合作伙伴进行合作。据之前的线索，Valve的下一代头显很可能是一体机形态，并集中利用Steam VR内容库。杨提及的"APU"和"小型化"回答也暗示V社的下一代头显可能是一体机。

苹果正研发第二代Vision Pro头显，代号为Project Alaska，标识符为N109。这款头显将于2025年底或2026年初发布。虽然关于这款设备的细节不多，但初步信息显示，第二代Vision Pro在外观上与初代相似，但会调整扬声器位置。与初代头显相比，第二代没有圆形凸起区域容纳扬声器，镜臂采用平坦统一的设计。项目文档提到可能指外部扬声器的非描述性音频配件以及两种不同的顶部通风口设计配置。第二代头显的后脑勺垫带采用简化设计，更类似于笔记本电脑包的扁平带，可能降低整体价格且易于生产。苹果还计划推出新的外部电池组。在硬件方面，第二代Vision Pro将配备多个摄像头、传感器和指南针、环境光传感器、磁力计和陀螺仪，并支持Wi-Fi、Bluetooth 5和超低延迟音频。这款头显预计将在2025年进入产品验证测试，并于2025年底或2026年初发布。

第六届中国国际进口博览会于2023年11月5日至10日在上海国家会展中心举行。作为高通的合作伙伴，玩出梦想科技展示了他们自研的YVR 2 VR头显设备，吸引了众多参展观众的关注和体验。玩出梦想科技是一家专注于空间计算设备的高科技公司，致力于推动三维信息技术革命和改变世界信息获取方式。YVR 2眼镜搭载骁龙XR2芯片和自研的6DoF算法，提供流畅的使用体验和自在的空间交互。该眼镜融合了人文科技和科幻科技感，以其外观设计和先进的功能配置获得多个国内外设计奖项。玩出梦想科技希望通过空间计算技术赋能不同行业，推动人类生产生活进入智能新时代。

根据《华尔街日报》的报道，腾讯和Meta已经就中国市场达成初步协议。腾讯将于2024年底开始在中国大陆独家代理Meta的一款全新、价格较低的VR头显版本。报道没有透露具体型号。据悉，Meta将在硬件销售方面获得更高的分成比例，而腾讯将在内容和服务销售方面占有更高的分成比例，如软件订阅和游戏销售。然而，关于具体细节没有提供更多信息。 此前，《界面新闻》曾报道称，腾讯代理Meta Quest的事宜已经最后敲定，代理的产品为Quest 2而非最新发布的Quest 3。报道还预测国行版的Quest 2将是一个“换芯片的升级版”，同时入华后的产品品牌和名称也可能会更换。 该报道没有明确指出腾讯代理的是哪款头显，只是提到腾讯将代理“一款全新的、价格较低的VR头显版本”。而Meta已经在今年10月发布了Quest 3头显。而对于2024年底的时间点，Meta可能会在明年秋季举行的Connect大会上发布新品。 此次合作对于Meta来说，将开启一个重要的新市场，提振全球市场对这种小众设备的需求。目前还不清楚具体合作细节，包括品牌名、头显型号、分成细节以及是否支持海外Meta Store内容库等。如果属实，这将是Meta时隔14年再次回归中国市场。

近日，苹果公司对其高价设备Vision Pro的定位似乎指向了企业市场。在最新的Apple网站更新中，苹果开始着重介绍如何为企业开发visionOS应用，并提供一系列针对Vision Pro的开发资源和最佳实践。同时，苹果还开始公开展示和介绍适用于企业的Apple Vision Pro应用的案例，其中包括JigSpace和PTC等公司。这一举动表明苹果已经意识到企业市场在增长，并且Vision Pro这样的高端设备具备强大的性能，适合进入这一领域。近年来，微软和Meta等公司在企业市场开展了一系列验证过的XR案例，因此苹果的发展方向并不令人意外。对于售价高昂的Vision Pro以及相应的配件来说，普通消费者市场似乎并不是苹果的主要目标群体。

根据映维网（Nweon）发布的消息，苹果公司最新的iOS 17.2 beta 2版本将允许iPhone 15 Pro手机录制空间视频。届时，用户可以随时随地通过Vision Pro观看iPhone 15 Pro录制的空间视频。根据苹果官方介绍，iPhone 15 Pro的后置摄像头配置可以录制具有3D效果的空间视频。要启用这一功能，用户可以在“设置”中切换“Spatial Video for Apple Vision Pro”选项。根据9to5Mac的报道，苹果定义的空间视频是以每秒30帧的1080p分辨率拍摄的，一分钟的视频需要约130MB的存储空间。苹果早前的官方新闻稿也提到，空间视频和照片具有令人难以置信的深度，可以让用户重温特定的历史时刻和特别体验。通过Vision Pro，用户可以在iCloud上访问完整的照片图库，并以真实的尺寸、鲜艳的色彩和细节浏览照片和视频。此次支持空间视频的更新使得苹果在Vision Pro的整合方面又迈出了一步。

Landmark检测是一项计算机视觉任务，用于在图像和视频中检测和定位人脸或身体的关键点。然而，由于姿势和遮挡等因素的影响，Landmark检测具有挑战性。为了改善AR和VR场景的沉浸感，需要将参数模型准确、鲁棒和快速地拟合到稀疏的输入信号中。传统的优化方法可以紧密地拟合参数模型，但容易陷入局部最小值。因此，一种常用的方法是将深度学习和经典优化方法结合起来。微软的专利申请中提出了一种使用深度学习和经典数值优化相结合的优化方法。该方法通过迭代机器学习求解器，结合Levenberg-Marquardt和Adam算法的特性，实现了鲁棒性和收敛速度，并能够处理具有挑战性的条件。学习优化是一个将优化视为学习问题的领域，旨在创建能够学习利用问题结构的模型，从而提高能量最小化的效率。该方法在图像去噪、立体声深度估计、人脸对齐和对象重建等方面有广泛应用。

根据消息，苹果确认其visionOS将支持用户通过虚拟巨屏播放3D电影，并允许用户选择真实房间或虚拟环境作为背景。最近，经重新设计的tvOS 17.2的Apple TV应用程序出现了一系列支持3D选项的电影，这些电影的图标形状与苹果官网Vision Pro相关资源的简略图标相似。网站FlatpanelsHD列出了19部支持3D的电影，包括《怪物史莱克》、《功夫熊猫3》、《小黄人大眼萌2:格鲁的崛起》和《环太平洋:雷霆再起》等。虽然这种巨幕影院对于虚拟现实（VR）社区来说并不陌生，目前存在一些专注于沉浸式观影的应用内容，如Bigscreen。然而，苹果Vision Pro存在舒适度方面的问题，早期测试者认为其过重，并且缺乏合适的头带选择。不过，苹果正在积极解决这个问题，并有望提供可选的头带选择。此外，根据之前的招聘启事，苹果似乎正在整合Vision Pro和Apple TV，使这两款设备可以互相操作。