Nweon

苹果公司在最近的一份专利申请中揭示了一种基于反射镜的场景摄像头发明，这对于沉浸式现实系统非常重要。传统的场景摄像头通常安装在前端，但其视点与用户眼睛的视点存在偏差。而这项发明可以将摄像头的成像位置更接近于用户眼睛的位置，从而更准确地呈现用户的视点。具体来说，该发明使用反射镜捕捉来自场景反射的光线，通过反射镜将光线反射到摄像头的入瞳位置。在一些实施例中，还会使用两个水平布置的镜子将光线反射到摄像头，这两个反射镜可以是平直、弧形或分段的。在一些实施例中，每个眼睛还会配备两个摄像头，分别捕捉由两个反射镜反射的光线。这项专利申请名为“Mirror-Based Scene Cameras”，最初于2019年9月提交，并最近被美国专利商标局公布。

眼动追踪技术可以分为两种类型：安装式眼动追踪和远程眼动追踪。安装式眼动追踪通过在头戴式设备上安装传感器实现，而远程眼动追踪则通过独立于用户物理移动的设备（如智能手机或平板电脑）上的传感器实现。苹果认为现有的计算系统、传感器和应用不能满足远程眼动追踪的需求，因此提交了一份名为“Sensor Fusion Eye Tracking”的专利申请，描述了用于智能手机或平板电脑等设备的远程眼动追踪系统和方法。该专利申请中提到了利用混合现实技术来实现眼动追踪的应用场景。该专利申请最初于2019年9月提交，并于最近由美国专利商标局公布。

苹果最新的iPad Pro搭载了激光雷达（LiDAR）扫描仪，将激光束按照特定轨迹进行扫描，可以记录反射的激光点信息，并形成激光点云。这项技术可以用于测量周围对象的距离，支持室内和室外使用，其工作在纳秒级的光子水平下。苹果公司在最近的专利申请中描述了一项名为“Point Cloud Compression Image Padding”的点云技术。该技术涉及点云的压缩和图像填充，通过对点云属性和空间信息进行编码，生成补丁图像，并将打包的图像帧提供给视频编码组件。解码器可以接收编码图像帧，解码同时进行比例放大，并可根据包含的关系信息调整视频解码参数。这项专利申请最初于2019年9月提交，并于最近由美国专利商标局公布。这进一步显示了苹果在点云技术领域的研发努力。

苹果正在利用多设备图像来提高虚拟对象显示位置的精确性。他们提交的名为“Localization And Mapping Using Images From Multiple Devices”的专利申请指出，该方法包括通过摄像头获取图像数据，使用运动传感器获取运动数据，并接收与第二设备对应的信息。然后，利用这些数据生成第一设备的姿态表示，并在显示器中显示虚拟对象。专利说明了使用多个设备捕获物理环境图像，并显示虚拟对象来增强用户的物理环境视图的方法。此外，苹果还提到可利用第二设备产生的数据来优化第一设备的姿态估计，从而提高位置估计精度并减少与姿态估计相关的误差，提供更优的用户体验。这一专利申请最初于2019年8月提交，并最近由美国专利商标局公布。

苹果近日公布的专利申请中，提出了用于数字注释的设备、方法和图形用户界面，旨在解决增强现实技术中用户输入困难和体验不佳的问题。该方法可以减少用户输入的数量、范围和性质，提供更有效的人机界面，并节约电能和减少充电次数。在实施例中，计算机系统可以是笔记本电脑、平板电脑或手持式移动设备，具有触控板/触控式显示器、图形用户界面、处理器、存储器和用于执行多个功能的模块、程序或指令集。用户可以通过触控笔或手指与图形用户界面进行交互，功能包括图像编辑、绘图、文字处理和电子表格制作等。在该方法中，通过显示生成组件显示用户界面，并在显示视频的同时接收向视频添加注释的请求，还可以暂停视频播放并显示对应位置的静止图像，接收相应的注释并在视频播放区域中显示与视频第二位置对应的第二部分和注释。该专利申请名为“Devices, Methods, and Graphical User Interfaces for Depth-Based Annotation”，最初于2019年9月提交。

根据映维网的报道，未来的Apple Pencil可能会使用一种新的传感器，使用户能够在任何表面上进行操作，并将数据传输回iPad或Mac。苹果之前已经提交了多项关于Apple Pencil的专利发明，现在他们的团队开始关注触控笔作用的表面。当前的Apple Pencil需要触摸屏幕才能工作，但未来的Apple Pencil可能会更加独立。据称，这项专利可以使得Apple Pencil在任何表面上工作，只要检测到Apple Pencil接触或移动表面，就可以进行相关的数据传输，从而可以在任何位置使用。这意味着艺术家们不再局限于iPad小屏幕，而可以在完整的桌面上进行绘画，甚至可以直接在现有的图纸或蓝图上进行操作，或者直接对现实对象进行绘画并制作相关的3D图。然而，苹果并没有计划取代现有的触摸屏，而是通过这种方式改进Apple Pencil的功能，提高输入精度。这项名为"Content Creation Using Electronic Input Device On Non-Electronic Surfaces"的授权专利最初在2017年7月提交，并最近由美国专利商标局公布。

《半衰期：爱莉克斯》是一款受欢迎的PC VR游戏，以其身临其境的游戏玩法和精美画面而受到全球玩家的一致好评。移动机制是该游戏的核心功能之一，Valve在一期全新的幕后视频中详细介绍了游戏的移动机制。玩家可以选择三种移动方式：传送、瞬移和持续移动，以提升游戏的舒适度。这三种移动机制背后有着深入的思考和考量，Valve努力追求在VR世界中自由流畅地移动的同时注意现实世界的挑战。无论玩家身高高低，游戏都需要保持一致的游戏体验。《半衰期：爱莉克斯》是一款优秀的VR大作，提供了丰富精彩的体验，对于所有的VR玩家和游戏开发者来说都是不容错过的。

Facebook宣布推出了移动端的OpenXR SDK原型版本，允许开发者开始在移动设备上集成OpenXR功能。最新发布的OpenXR Mobile SDK 1.0.6为原型预览版，支持Oculus Quest原生应用程序的OpenXR API开发。使用OpenXR Mobile SDK可以简化为不同VR硬件平台进行开发的工作，减少移植的工作量。然而，Facebook建议开发者在OpenXR Mobile SDK退出开发者预览版之前不要在他们即将发布的Quest应用中支持相关API。Facebook和Oculus在制定OpenXR标准方面发挥了重要作用，并与其他平台方合作进行了长期而艰苦的工作。OpenXR是The Khronos Group开放标准，旨在帮助开发者开发支持多个平台的高性能VR应用程序，并简化沉浸式内容开发过程。

光感科技发布了一款名为feelarOS的多任务XR操作系统，该系统可安装在安卓手机上，并通过智能眼镜将手机App以超大悬浮屏的形式呈现在3D空间中，实现腾空点击交互。feelarOS重构了安卓操作系统，使用自主研发的三维引擎，实现了同一个App在手机和智能眼镜中的使用。该系统支持数百万安卓应用的3D化，解决了AR眼镜和VR头盔应用种类欠缺的问题。feelarOS可以将手机App从小屏变成虚拟的超级大屏，并支持虚拟触控等多种交互方式。此外，feelarOS将AR和VR技术融合到一个操作系统中，支持AR多任务模式和VR沉浸模式的切换。该操作系统还具备高精度SLAM和三维手势算法，为开发人员提供了更灵活的技术支持。光感科技在计算机视觉领域也取得较大突破，开发了激光雷达自动泊车、人脸识别等技术。

据彭博社报道，微软于2020年4月7日聘请了负责无线技术的苹果高管Ruben Caballero来领导其混合现实硬件和人工智能技术。Caballero目前是微软的副总裁，负责HoloLens等混合现实头显的硬件工作。微软已证实了这一聘用关系，招募Caballero显示微软对其硬件组合的投资。在苹果工作期间，Caballero担任工程副总裁，负责开发无线技术，如iPhone、iPad和Mac等设备的天线系统，同时监督苹果的全球无线产品测试工作。Caballero在苹果供职了14年，负责调制解调器部门，后来由Johny Srouji管理的定制芯片部门纳入该部门。离开苹果后，Caballero曾为硅谷的几家初创公司担任顾问，包括无线公司Keyssa和由前苹果员工经营的初创公司Humane。