近日，美国专利及商标局公布了一批全新的AR/VR专利，共有78篇。其中一些专利包括Meta关于语音指向性再现和低密度奇偶校验编码的专利，以及显微网关于发光二极管中蚀刻保护和量子机械隔离的专利。另外还涉及到了用于用户与辅助系统交互的手势识别、控制和在虚拟世界之间旅行的虚拟个人界面、根据语音进行三维人脸动画化，以及浏览器支持在人工现实中切换虚拟世界等专利。这些专利涵盖了AR/VR领域的多个方面，包括用户交互、显示技术、感知和影音处理等。这些专利的公布显示了XR技术在不断创新和发展，为用户提供更好的虚拟体验。《Apple专利 | 注视行为检测》涉及一种通过眼睛和头部数据来识别注视行为状态的方法。该方法可以用于识别注视转移事件、注视保持事件和丢失事件。 《Apple专利 | 使用头部姿势控制设备设置》描述了一种使用头部姿势进行用户输入的方法。该方法中，头戴设备的显示器可以显示具有指示器的滑块，滑块可以用于表示设备设置的标量。根据头部姿势的变化，可以更新滑块上设备设置的标量和指示器的位置。 《Apple专利 | 带变形传感器的电子设备》描述了一种具有变形传感器的头戴式设备。该设备可以具有立体光学部件和变形传感器电路，用于补偿摄像头和显示系统的指向矢量未对准的测量变化。 《Apple专利 | 具有透镜位置感应功能的电子设备》涉及一种具有透镜位置感应功能的头戴式设备。该设备可以使用瞳孔间距离信息来调整透镜组件的位置，并使用感测电路来确保透镜组件不会施加过大的力。 《Apple专利 | 光学传感系统的处方镜片配准和切换》描述了一种识别处方镜片是否匹配的方法。系统可以识别处方镜片的处方，并与用户注册处方进行比较，以确定是否切换处方镜片。 《Apple专利 | AR地图》涉及一种在手持通信设备上显示增强现实地图的方法。该方法可以捕获实时视频流，检测设备的位置和摄像头方向，并在视频流上叠加指示符来指示前往感兴趣点的方向。 《Google专利 | 集成到达角数据的设备追踪》涉及一种使用到达角数据和惯性数据来识别设备姿态的方法。头戴式显示器使用数据集成技术将到达角数据与惯性数据融合。 《Google专利 | 基于眼动追踪的列表导航》描述了一种基于眼动追踪的列表导航方法。该方法可以在显示器上显示多个位置，并根据注视点的移动来显示列表元素的不同子集。 《Google专利 | 使用神经渲染的体积性能捕获》涉及一种使用神经渲染器进行体积性能捕获的方法。该方法使用深度数据和视图数据来生成描绘对象的输出图像。 《Sony专利 | 图像生成装置、图像生成方法和程序》描述了一种通过识别用户身体来生成图像的设备。设备可以识别用户的身体骨架并基于骨架生成图像。 《Sony专利 | 用于从捕获的图像数据中识别人的姿势的信息处理设备、方法、程序和记录介质》涉及一种从图像数据中识别人姿势的方法。该方法包括提取人的轮廓、提取特征量、估计姿势和确定估计精度。 《Sony专利 | 触觉反馈系统和方法》描述了一种触觉反馈方法。该方法包括使用骨传导触觉反馈单元来驱动音频信号以实现触觉反馈。 《Sony专利 | 显示装置》涉及一种用于通过反射全息透镜传送图像的显示设备。该设备包括导光板和反射全息透镜，可将对象图像传送到观察者的眼睛。 《Sony专利 | 信息处理设备、信息处理方法和记录介质》描述了一种通过视图信息来估计位置的方法。该方法可以使用预定成像部分捕获的图像来估计位置。 《Sony专利 |对用户在与虚拟现实内容交互时的不适程度进行分类》涉及一种用于分类虚拟现实内容用户不适程度的方法。该方法使用模型来识别可能引起不适的虚拟现实内容，并通知用户切换虚拟现实内容。 《Samsung专利 | 用于视频透视AR的视频渲染的方法和设备》描述了一种用于视频透视增强现实的视频渲染方法。该方法可以捕获图像并基于摄像头姿势和相对位置生成虚拟视图。 《Samsung专利 | 在虚拟环境中处理安全虚拟事件的方法和电子设备》涉及一种用于在虚拟环境中处理安全虚拟事件的方法。该方法可以基于输入和虚拟事件的性质来识别参与虚拟事件的用户化身。 《Samsung专利 | 用于提供扩展观看窗口的显示设备》描述了一种能够提供扩展观看窗口的显示设备。该设备包括导光板，用于在不同角度上传播图像。 《Samsung专利 | 显示模块及其头戴式显示设备》涉及一种显示模块。该模块包括多个发光元件和密封元件，密封元件具有不同深度的图案。 《Qualcomm专利 | 保护用户健康避免其过度沉迷元宇宙》描述了一种基于用户生物特征来预防过度沉迷于元宇宙的系统。系统通过监测用户的生物特征，例如血氧饱和度、心率等，来调整元宇宙的呈现方式。 《Qualcomm专利 | 扩展现实设备中的对象检测和追踪》涉及一种在扩展现实环境中检测和追踪对象的方法。方法可以通过识别对象的参数来对准和追踪对象的移动。 《Qualcomm专利 | 扩展现实数据的物理层关联》描述了一种物理层关联扩展现实数据的方法。方法可以基于数据集合来识别数据单元是否属于网络通信的一部分。 《Qualcomm专利 | 注视点压缩的方法和装置》涉及一种注视点压缩的方法。方法涉及对图像进行缩减和编码，并在解码后将图像进行upscale。 《Snap专利 | 全身分割》描述了一种基于图像生成全身分割的方法。方法涉及识别人的姿势并应用视觉效果。 《Snap专利 | 增强现实图像再现助手》涉及一种图像再现助手。助手使用增强现实技术在物理画布上生成数字图像。 《Snap专利 | 双摄像头流》描述了一种捕获和处理双摄像头流的方法。方法可以同时保存第二摄像头的图像流，并对其应用增强现实效果。 《Snap专利 | 虚拟自拍杆》涉及一种生成虚拟自拍杆图像的方法。方法使用设备的光学传感器生成原始自拍图像，并基于用户的姿势和移动来生成虚拟自拍杆图像。 《Snap专利 | 在新位置应用预生成的虚拟体验》描述了一种在新位置应用预生成虚拟体验的方法。方法基于先前捕获的真实环境的图像和与新环境相关的图像来生成虚拟体验。 《Snap专利 | 从姿势和语音输入推断意图》涉及一种从姿势和语音输入中推断意图的方法。方法基于图像中的姿势和语音输入来执行相应意图的操作。 《Snap专利 | 3D渲染对象的光线估计方法》描述了一种用于估计3D渲染对象光线的方法。方法使用预训练的机器学习模型和配对数据集来估计照明参数，并将其应用于虚拟对象的渲染。 《Snap专利 | 为三维渲染对象估计光照的方法》描述了一种估计三维渲染对象光照的方法。方法使用机器学习模型和合成数据集来估计照明参数，并将其应用于虚拟对象的渲染。 《Snap专利 | 从点云数据中识别物体边界的方法》描述了一种从点云数据中识别物体边界的方法。方法基于点云数据生成特征图并识别边界。 《Snap专利 | 表情识别和纹理处理方法和装置》涉及一种表情识别和纹理处理的方法。方法使用神经网络来识别表情并将纹理映射到人脸上。 《Snap专利 | 实时感兴趣区域检测方法和系统》描述了一种实时感兴趣区域检测的方法。方法使用深度学习模型来检测感兴趣区域。 《Snap专利 | 在虚拟现实场景中交互的头戴设备和方法》涉及一种用于在虚拟现实场景中交互的头戴设备和方法。头戴设备可以识别用户的手势，并在虚拟场景中相应地触发操作。 以上是《Snap专利 | 应用姿势和语音输入来推断意图》的内容。Snap专利描述了使用增强现实（AR）的机器人学习装配任务的方法。这个方法包括在AR设备的显示屏上显示第一个虚拟对象，并跟踪用户对该对象的操作。然后根据跟踪数据识别该对象的初始状态和最终状态，并使用这些数据编程机器人系统。另一个Snap专利描述了一种用于创建共享AR会话的方法和系统。该方法包括接收用户选择共享AR体验的输入，并确定与所选择的体验相关联的资源。该系统还通过检测用户在阈值附近的位置来激活所选择的共享AR体验。其他专利涉及低功耗手部追踪系统、增强现实波导、透视增强现实环境的颜色校准工具、增强现实骑程生成、可穿戴设备定位系统、头戴式显示器眼动追踪器、选择性照明的光学系统、光学验证表面的方法、图像光导和头戴式显示设备等。这些专利展示了Snap在AR和可穿戴设备领域的创新技术。

浙江大学、ReLER实验室和CCAI的研究人员近日发布了Human101框架，旨在提升渲染速度和模型保真度。该框架结合了3D高斯展开与先进动画技术，采用中心化的前向高斯动画方法，简化变形过程，能够从单视图视频中快速重建高保真的3D数字人。研究显示，Human101的渲染速度超过100 FPS，大幅减少渲染时间，提升了实时交互和虚拟现实体验的可能性，同时在视觉保真度上超越了现有方法。

苹果公司近日获得了一项与头显设备相关的专利，该专利涉及可穿戴电子设备的透镜位置感应系统。该系统可根据不同用户的瞳距调整透镜间距，以确保用户舒适观看显示屏。头戴式设备的透镜组件利用传感器来测量用户的瞳孔间距及鼻子位置，从而实时调整透镜位置，避免对鼻子的压迫。此技术的目标是提高使用体验，使头戴设备能够适应多种用户的需求。

12月29日早间，VR、AR、MR概念板块出现股市异动，多家公司包括歌尔股份涨停。华为在12月28日发布的调研纪要显示，计划在2024年推出两款产品：MR头显和AR眼镜，均为行业瞩目。MR产品将与未来旗舰手机的SoC相结合，而AR眼镜被认为是AIGC最佳载体。软银和科大讯飞也在布局AR眼镜，预期分别将推出100万台和30万台的量产。尽管消息传播，华为方面已对此表示不实。

Meta最近发布了第60版SDK，新增的人脸追踪OpenXR扩展支持检测用户舌头的长度，这可能为Quest Pro引入舌头追踪功能铺平了道路。Meta CTO Andrew Bosworth表示，舌头追踪受限于设备上缺乏合适的摄像头，且外置方案可能不太受欢迎。他认为舌头追踪能提升Avatar的真实感，但也提到未来可能借助AI算法推测舌头位置。

苹果公司近期在美国专利商标局申请了多项与Vision Pro头戴式设备相关的专利，涉及头部姿势控制、光学感应、垂直视差校正等技术。其中，头部姿势技术允许用户通过头部运动实时更新设备设置，光学切换镜片系统则可识别用户镜片度数并提示更换。此外，基于注视的曝光方法可以优化场景图像的曝光效果，为用户提供更精细的视觉体验。这些创新将推动XR行业的发展。

D2L与Unity达成合作，旨在将VR、AR和RT3D技术整合进课堂教学，以应对学习体验需求的增长。这一合作将改变教育形式，使学习变得更具参与性和动态性。D2L的学习平台D2L Brightspace现可提供Unity教育许可证，教育工作者将获得软件工具、专业培训及认证，帮助创造沉浸式学习体验，如虚拟科学实验和医学培训模拟，提升学生的学习效果。

2023年澳大利亚XR节在墨尔本ACMI成功举办，表彰XR行业的优秀作品与人才。包括游戏、VR、AR等多个领域，共有25家决赛入围者参与。获奖作品包括：最佳动画《Chomp》、最佳AR社交媒体Corgi、最佳AR体验《878AD: Winchester Revealed》和《Coopers AR》、最佳游戏《Zombieland》、最佳VR被动沉浸式体验《Dragon Magic & Freedom Giants》以及最佳VR互动沉浸式体验Julaymba。

市场研究公司Omdia透露，苹果计划于2027年推出第二代Vision Pro，升级为RGB OLEDos显示屏，取代现有的WOLED显示屏。RGB OLEDos技术不需滤色器，具备更高的亮度和发光效率。三星收购Micro-OLED技术开发商eMagin，目前是唯一提供RGB OLEDos方案的公司，有可能进入Vision Pro供应链，甚至取代索尼。此外，有分析师指出，第二代产品将在2027年发布，而苹果还计划在2025年推出一款成本更低的头显设备。

Varjo在2023年发布了其最新旗舰头显XR-4系列，针对专业用户，提供显著提升的显示效果和功能。XR-4设有标准版、焦点版和安全版，焦点版可实现真实的全彩透视体验，安全版则符合更高安全标准。关键特性包括双4K显示、支持2000万像素RGB摄像头、增强的环境光传感器和支持DTS 3D空间音频。相较XR-3，XR-4在视觉及追踪体验上有显著提升，其VST效果可与Vision Pro抗衡。尽管体重较重，但佩戴舒适度值得称赞，整体体验给人留下深刻印象。