Nweon

近期美国专利及商标局公布了一批新的AR/VR专利。其中包括索尼和Magic Leap等公司的专利。这些专利涵盖了多个领域，包括Micro-LED晶片、手部临在键盘之上、用户表示、灰色调抗蚀剂和工艺、交互方法、光学层、语音命令集成、虚拟对象结构、合成器层外推法、通过人工现实系统捕获场景等技术。这些专利展示了AR/VR领域的创新和进展，对于推动XR技术的发展和应用有着重要意义。这些专利不仅涉及到硬件技术，还涉及到软件算法和交互设计等方面。这些专利的发布为行业的发展提供了新的技术和创新点，对于XR产业的未来有着重要影响。29. 索尼专利了一种基于内存的激励模式，其中包括存储多个虚拟现实数据集，每个数据集包括刺激集合和玩家生物特征数据。通过追踪玩家的生物特征数据，并与所呈现的刺激集合相关联，更新虚拟现实环境中的刺激集合。 30. 索尼专利了一种图像处理设备，包括客户端信息获取部分和操作状态识别部分。客户端信息获取部分从图像处理设备获取与用户操作有关的信息，操作状态识别部分识别在执行用户操作时显示在图像处理设备侧上的内容。 31. 索尼专利了一种投影装置，包括发光的照明光学系统、信息处理单元、空间光调制器和投影光学系统。信息处理单元生成用于投影的全息图图案，投影光学系统将光投影到投影表面上并投影输出图像。 32. 三星专利了一种提供增强现实的设备和系统，包括显示模块、感测模块、生物传感器和控制模块。控制模块基于生物传感器的信号来检测用户的注视坐标，并从图像数据中提取与注视坐标相对应的对象或文本，以生成AR内容数据。 33. 三星专利了一种图像处理方法，包括接收图像帧、检测用户的面部区域和对准预设特征点。根据对准结果进行检查，并重新检测面部区域，最后输出与面部区域相关的信息。 34. 三星专利了一种个性化的恐高康复方法，通过生成一系列声音来引导用户的头部运动，减轻用户的眩晕。 35. 三星专利了一种用于空间映射的电子设备和方法，包括摄像头、显示器、存储器和处理器。处理器通过图像数据中检测到的对象进行3D空间映射，并显示生成的3D空间。 36. 三星专利了一种图像处理方法，通过训练机器学习模型实现语义图像分割，并在不损失准确性的前提下加快预测速度。 37. 三星专利了一种感测数据处理设备，可以基于先前帧和当前帧的传感数据来追踪用户的关键点，用于设备的定位。 38. 三星专利了一种基于点云建模的虚拟试穿应用程序，通过点云和可微分神经渲染来捕捉服装的几何形状和外观。 39. 三星专利了一种提供增强现实的电子设备和方法，通过存储和显示增强现实元素的数据来输出到用户的视场区域。 40. 三星专利了一种用于识别用户呼吸状态的可穿戴设备，通过处理传感器数据来定位用户的呼吸状态。 41. 苹果专利了一种基于图像的检测反射表面的方法，可以修改虚拟现实环境中的反射，例如用虚拟内容替换反射中的设备。 42. 苹果专利了一种点云压缩系统，包括编码器和解码器，用于压缩和解压缩点云的属性信息和空间信息。 43. 微软专利了一种模块化的头戴式设备，包括传感器和显示模块，可通过不同的模块提供辅助计算、存储和电力资源等。 44. 谷歌专利了一种将用户行为与声音处理相关联的系统，用于调整增强现实设备的操作方式或对声音的响应。 45. Snap专利了一种虚拟服装试穿方法，通过处理图像来生成具有虚拟服装的人物图像。

立体视觉是计算机视觉中的一个基本问题，可以应用于3D重建和AR/VR等领域。通过使用立体视觉从不同视点捕捉同一场景的图像，可以进行视差估计，然后通过三角测量将匹配的点投影到3D中。然而，当应用于视频数据时，传统的立体视觉方法会导致不一致性。为了解决这个问题，Meta和牛津大学的研究人员提出了一种名为DynamicStereo的方法，通过融合自我关注和交叉关注的方法提取空间、时间和立体对之间的相关信息。他们还创建了一个新的合成立体数据集Dynamic Replica，用于训练动态立体匹配模型。实验结果表明，该方法在时间一致的立体视觉估计方面优于现有技术，并且其他方法在该数据集上的训练也受益于真实场景的数据。该方法结合了空间、时间和立体信息，实现了跨时间的精确一致预测，并且每个组件都对最终性能有贡献。

Meta在2021年的Connect大会上发布了Presence Platform，这是一个拥有机器感知和人工智能功能的工具集，旨在帮助开发者构建逼真的混合现实、交互和语音体验，实现虚拟内容与用户的物理世界的无缝融合。Presence Platform的核心功能包括先进的追踪和运动传感技术、高质量的图形和音频，以及直观的控制和界面。除了为开发者提供创新应用的开发平台外，Presence Platform还提供了社交功能，包括语音聊天和共享体验。该平台还提供了混合现实工具和功能，如Passthrough、Scene和Spatial Anchors，可以实现物理世界和虚拟世界的融合和互动。此外，Presence Platform还提供了自然输入控件的功能，如双手、语音和控制器，并支持构建高保真Avatar和实现真实社交体验的工具和资源。

微软介绍了一种使用光源监测电路来监测眼动追踪系统的脉冲光源的专利。该电路包括控制电路和光源监测电路。控制电路用来控制光源的发光，而光源监测电路用来监测光源的开启时间，以判断是否发生故障。如果控制电路或光源故障，光源监测电路可以发出警报。这种眼动追踪系统可以应用于可穿戴设备，追踪用户眼睛的注视方向，以用作用户输入。该专利的申请日是2023年04月28日。

波兰工作室Gamedust开发的VR解谜竞速冒险游戏《宇航者：木星失衡》将推出续作《宇航者：木星失衡2》。续作将于5月份首先支持PICO Neo 3 Link和PICO 4头显，后续将在Meta Quest 2等其他头显上推出。游戏以卡通渲染的画面呈现，玩家扮演苏联宇航员，在失重环境下使用马桶搋子制作的钩爪，体验穿越宇宙空间站的乐趣。游戏不仅融合了解谜元素，还提供通关竞速模式和排行榜功能，玩家可以在空间站内自由飞行穿梭。《宇航者：木星失衡》获得了社区的欢迎，因此Gamedust决定推出续作，并表示将完善射击系统、添加更多难题、改进操作，并带来惊喜。考虑到第一作的表现，Gamedust相信《宇航者：木星失衡2》将再次受到PICO用户的期待。

Meta即将为社区带来Quest v53版本的更新。这个新版本增加了一些功能，包括新的家长和青少年监督工具。家长可以使用这些工具来管理青少年在浏览器中访问和查看的内容，可以根据不同类别的内容选择屏蔽网站。另外，在更新游戏和应用程序之前关闭设备是一件很恼人的事情，但在v53版本中，你现在可以选择在关闭设备之前更新应用程序。此外，该版本还改进了摄像头设置和立体声音频的功能，并在Meta Quest Browser中添加了对Twitch的支持。还有WiFi 6E支持，允许用户更快地连接到本地PC进行远程桌面串流。其他功能包括系统键盘的文本输入显示、选择时区并编辑时间、以及VR通知分组。

美国工作室Polyarc Games开发的VR游戏《Moss：Book II》正式登陆中国的PICO应用商店，并支持中文配音和字幕。这款续作游戏曾获得多个国际大奖，包括TGA的“2022年度最佳VR/AR游戏”奖项，是一款冒险解谜游戏。游戏通过PICO 4系列和PICO Neo3等VR一体机平台，使中国玩家能够完全沉浸在这场史诗般的冒险中，与小老鼠奎尔一起续写不朽传奇。《Moss：Book II》升级了游戏机制和交互玩法，并扩展了奎尔的武器库，游戏时长也达到了6-7小时。PICO 4系列VR一体机以其双目4K+超视感屏幕和105度广视场角，为玩家带来更真实的沉浸体验。游戏中需要玩家通过手柄控制奎尔行进、跳跃和战斗，还引入了全新的互动方式，如生成魔法藤蔓、将敌人当作弹球射向目标等。此外，PICO最新推出的PICO 4 Pro一体机也在中国市场上线，是国内首款同时支持眼动追踪和面部追踪的消费级VR一体机。

ChatGPT是一个热门的AI聊天机器人，它可以访问大型语言模型LLM，这使得它能够在《上古卷轴5：天际VR》中的NPC上进行自然对话并回答问题。通过使用人工智能聊天机器人ChatGPT和人工智能配音工具xVASynth，开发者正在努力实现游戏角色的自然对话。相关脚本可以实现语音的嘴唇同步和NPC对游戏中事件的感知，从而提升沉浸感。虽然作品仍然存在一些局限性，但这是一个很大的进步，并激发了无限的想象力。通过与NPC进行自然的对话，玩家可以在虚拟现实中与角色进行深入交流，提供了一种令人难以置信的超现实体验。尽管NPC的实际语音仍然相对机械化，但开发者表示正在解决这个问题。目前尚不清楚该项目何时可供下载，开发者表示他们还在研究如何发布，并希望能够提供一种本地运行的替代方案。这种使用聊天机器人来增强用户沉浸感的项目在XR领域并不是第一个，但它带来了更多与游戏及角色深度互动的机会，从而提升了XR的沉浸感。

在今天的Meta财报电话会议中，扎克伯格表示，今年下半年将推出新款消费者头显，并采取亲民的定价策略。他强调，发布新款XR设备是公司坚持元宇宙愿景的明证。扎克伯格表示，这款新设备是虚拟现实向前迈出的一大步，并表示将向世界展示自Quest 2以后开发的所有新技术和优化，并且定价将是大多数人能够承受的价格。关于定价方面，暂时无法确定具体指的是什么，是与Quest 2类似的大众市场价位，还是采取进一步的亏本卖硬件、盈利靠软件的做法并提供低于400美元的价位。根据社区的情报，Quest 3被视为廉价版Quest Pro，采用单眼分辨率2064×2208、刷新率最高达120Hz的LCD屏幕，并搭载Pancake透镜和机械式IPD调整，但没有眼动追踪或面部追踪。有人认为，由于苹果将在今年6月进入XR市场，Meta可能会进一步补贴硬件价格，甚至给出低于400美元的价格来抢占市场。由于Reality Labs在Q1季度的亏损减少，Meta可能会进一步压低硬件售价。此外，Meta还计划在2024年推出一款亲民头显代号为Ventura。

微软在名为“Eye tracking head mounted display device”的专利申请中介绍了一种眼动追踪解决方案，其中头显的视觉组件采用分布式设计，使用数量众多而尺寸更小的光源和检测器来创建闪烁的照明和检测。传统的眼动追踪技术通常是将IR LED沿着视觉组件布置一环，并通过反射确定眼睛位置，但这种方法在头显上实施时存在一些问题。微软的解决方案是将多个IR LED和IR传感器分布在头显中，通过部分反射镜将IR光反射回眼睛，从而实现更准确的眼动追踪。此外，通过使用多个IR传感器配合去卷积技术，可以提高眼睛信息的分辨率。这一技术可以在头显中实现亮瞳成像和暗瞳成像，并最大程度地减少光学传感器的遮挡。该专利申请于2021年9月提交，并已公布。