Insider Insider

Meta在测试允许用户通过手机创建自己房间的3D扫描

Meta最近发布了一款名为Horizon Hyperscape的演示应用,专为Quest 3和Quest 3S设计。与谷歌街景中的360度照片不同,Horizon Hyperscape采用了高斯飞溅技术,可以让用户在一个逼真的场景空间中自由穿行。 知名XR社区成员Luna在代码串中发现了有关Hyperscape下一步计划的线索。很明显,Meta目前正在测试一项功能,允许用户通过智能手机直接创建自己的房间扫描。 此外,Meta还在测试空间扫描的协同定位功能,使得多人可以共同访问相同的Hyperscape空间。此外,代码还表明用户可以将Hyperscape作为Horizon Worlds的起始环境。 需要注意的是,这项技术似乎还不成熟,因为代码显示相关扫描可能需要长达8小时的处理时间。 Meta的Reality Labs产品经理Marcello Typrin在采访中提到了相关计划。他希望用户能够扫描自己的家,并邀请朋友过来,而不用住在附近,朋友可以位于地球的另一端。他认为这是创造有意义的体验和与有意义的人在一起的强大概念。他们希望将数字世界中的奇幻之地与现实世界地点结合起来,以一种舒适和自然的方式在不同地方之间移动。
Meta在测试允许用户通过手机创建自己房间的3D扫描

美国加州大学利用VR训练机器狗执行任务

中国兵装集团研制的“机器狼”在中国航展上引起了广泛关注,这种四足机器人被认为是一个重要的发展方向。加州大学圣地亚哥分校正在利用VR来训练四足机器人,以提升其任务执行能力。英伟达、特斯拉和小鹏等公司也在探索通过XR来训练人形机器人。集成操纵器的四足机器人的任务是在周围环境中快速移动的同时操纵物体,例如收集物品并将其带给人类,或者将目标物品放在特定位置。目前训练四足机器人完成任务的主要方法是模仿学习,通过处理演示数据来学习机器人完成任务的策略。然而,现有的方法在实际环境中的表现不尽如人意,无法支持四足机器人泛化到各种复杂的任务。为了解决这个问题,加州大学圣地亚哥分校的研究人员提出了一个名为WildLMa的新框架,以提高四足机器人在实际环境中的技能。该框架通过使用视觉语言模型训练机器人获得通用技能,并将这些技能链接到序列中,使机器人能够处理复杂任务。团队表示已经在一系列实验中展示了该框架的潜力,并成功地训练了一个四足机器人完成各种任务。
美国加州大学利用VR训练机器狗执行任务

苹果推送visionOS 2.2的第二个RC版本

苹果最近发布了visionOS 2的第二个RC版本,并推送给开发者进行测试。开发者可以通过设备端的设置应用开启“开发者测试版”开关并进行下载,但需要注册苹果开发者账号,并在安装新软件前进行备份。对于Apple Vision Pro用户,安装visionOS测试版的具体过程是:打开设置,选择通用,启用测试版更新,然后选择visionOS Developer Beta。此外,开发者还可以通过Xcode的visionOS模拟器尝试新版本的visionOS系统。
苹果推送visionOS 2.2的第二个RC版本

英伟达开发QUEEN大模型,可高效实现自由视点VR视频流媒体体验

英伟达和马里兰大学合作开发了一个名为QUEEN的人工智能模型,可以高效实现自由视点的视频流媒体。QUEEN能够让用户从任何角度体验3D场景,并在特定高度动态的场景中减小模型大小,每帧只有0.7MB,训练时间不到5秒,渲染速度约为350帧/秒。英伟达指出,这种速度和视觉质量的结合,可支持音乐会和体育比赛的媒体广播,并提供沉浸式虚拟现实体验或比赛关键时刻的即时重播。以前用于生成自由视点视频的方法要么占用太多内存,要么牺牲视觉质量,而QUEEN平衡了这两者,并能更快地渲染视觉效果,支持流媒体应用。QUEEN可应用于沉浸式流媒体应用、教授技能、体育比赛观赛、工业环境等。该研究团队提出了一个3D高斯飞溅的框架,用于自由视点流媒体,并进一步提出了一个量化稀疏框架,用于有效存储残差。英伟达表示,他们计划开源发布QUEEN的代码,并通过项目页面共享。
英伟达开发QUEEN大模型,可高效实现自由视点VR视频流媒体体验

夏普旗下Dynabook发布全新AR眼镜DynaEdge XR1

夏普旗下的dynabook公司宣布推出新款AR眼镜dynaEdge XR1,并计划于2025年第一季度上市,具体售价尚未公布。这款设备采用了韩国厂商LetinAR的光学技术,分辨率为1920×1080,视场角为45度。眼镜还配备了一个RGB摄像头和两个单色摄像头。dynaEdge XR1需要配备一个名为dynaEdge C1的计算单元,与其他设备无缝对接,方便不同场景的切换和使用。dynaEdge XR1主要用于拣货协助、远程支持、教育/培训等场景,旨在提高用户的工作效率和问题解决能力。该款产品定于2025年第一季度上市,更多详细信息请访问dynabook的官方网页。
夏普旗下Dynabook发布全新AR眼镜DynaEdge XR1

韩媒:三星计划在2025年生产5万台XR眼镜

据韩国媒体《首尔经济日报》报道,三星计划于2025年共生产5万台XR眼镜。这些XR眼镜是三星与谷歌和高通联合开发的,预计将在2025年1月的Galaxy S25手机发布会中进行展示。根据业界消息人士透露,三星可能以视频或渲染图的形式展示这款与谷歌和高通合作研发的XR眼镜,但目前还没有实体设备。据报道,三星还计划在明年下半年与苹果展开正面对决,首先在第三季度生产2万台XR眼镜,然后在第四季度生产3万台。三星认为XR设备是延续其智能手机业务的未来事业。
韩媒:三星计划在2025年生产5万台XR眼镜

希望将虚拟现实支持引入大规模《辐射:伦敦》DLC的改装者

《辐射:伦敦》是基于《辐射4》游戏的一个完全转换模组,适用于PC平台。虽然制作团队还未确定是否支持VR,但有一位勇敢的模组制作者正在尝试开发这个功能。 根据报道,这个VR模组以FOLON团队构思的末日伦敦为背景,是一个完全的改编作品,包括自定义地图、资源和配音,独立于贝塞斯达进行制作。 VR模组的制作者在《辐射:伦敦》Discord上表示,这是一个“现阶段的热情项目”,但他们有意将其变为现实。 尽管许多针对普通屏幕版《辐射4》的模组可以通过Nexus启动器管理和应用于官方的VR版本,但《辐射:伦敦》似乎遇到了更多挑战。 制作者表示,从今年7月发布的《辐射:伦敦》DLC开始试验,并将《辐射:伦敦》的文件导入贝塞斯达的《辐射4 VR》中,但这并不是一个简单的解决方案。 制作者将逐步揭示这一成果是如何实现的,并希望引起FOLON团队的注意以进一步深入研究。 尽管目前无法下载该模组,但我们将继续关注该项目,并在下载可用时提供信息。

2024年12月09日美国专利局新申请AR/VR专利摘选

这篇文本介绍了一系列专利,涵盖了多个XR公司如Google、Samsung、Microsoft、Sony、Magic Leap和Snap的创新技术。 其中一些专利涵盖了增强现实和虚拟现实(AR/VR)领域的眼镜和设备设计,如可插入处方镜片的AR眼镜显示器、头显设备的散热结构和显示驱动电路,以及AR设备的操作方法和信息显示方法。 此外,还包括一些与声音处理、光学滤波器、图像处理和热管理相关的专利。 这些专利表明XR行业在硬件设计、用户体验、图像处理和数据分析等方面仍然有很多创新和发展的空间。 美国专利及商标局最近公布了一批新的AR/VR专利,总共有113篇。其中一些专利涉及到混合图像传感器、强度成像和深度传感、反向透视眼镜、空间音频控制的API、基于环境映射的摄像头优化等。另外还有关于显示和捕获图像的技术、头显录制内容、自适应虚拟现实内容放大、电子设备的色彩校正、应用程序间网络配置文件、带天线的电子设备、AR显示系统、注视点显示内容渐晕、micro-oled亚像素均匀性补偿架构、在三维环境中移动对象的方法、管理计算机生成体验的技术、实时通信的设备和方法、按比例显示物理项目的技术、在扩展现实环境中呈现系统用户界面的设备和方法、合成虚拟和物理相机图像等。这些专利涵盖了AR/VR领域的多个方面,展示了苹果在该领域的创新和技术进步。本专利涉及在扩展现实环境中为用户体验会话生成提醒的设备、方法和图形用户界面。在本实施例中,当用户体验会话处于活动状态时,计算机系统检测用户注意力方向的变化。响应于检测到用户注意力方向的变化,如果用户的注意力符合提醒标准,则计算机系统输出提醒以将注意力集中在用户体验会话上。如果用户注意力不符合提醒标准,则放弃输出提醒。 另外,还有其他专利涉及显示物理位置内容、管理实时通信会话中参与者的显示、集中式渲染环境中的系统状态管理、预览计算机生成的虚拟对象、查看和与三维环境交互、响应于低光条件的手部抠图、透视管道、细化深度图、通信会话的传送门内容、合成的手部纹理、渲染具有不同感知质量的层、平滑视频/图像信号压缩等方面的设备、方法和图形用户界面。 这些专利涉及的技术对于开发和改进扩展现实设备和应用程序具有重要价值。《 苹果专利 | 用于呈现内容的设备、方法和图形用户界面 》描述了一种在计算机系统上使用一个或多个显示生成组件和一个或一个以上输入设备来呈现内容的方法。在该方法中,通过一个或更多显示生成组件在第一显示位置显示多个对象中的第一对象,并在显示第一对象的同时通过一个或多个输入设备检测与在多个对象内导航的用户请求相对应的第一用户输入,并且响应于检测到第一用户输入后,通过一个或多个显示生成组件显示第一对象从第一显示位置到不同于第一显示位置的第二显示位置的移动,同时通过修改第一对象相对于显示第一对象的背景的不透明度来降低第一对象的视觉突出度。 另外,《苹果专利 | 用于内容协作和共享的设备、方法和图形用户界面》描述了一种可用于协作会话的计算机系统和图形用户界面。在该系统中,通过与多个显示生成组件和多个输入设备通信,当计算机系统与多个在协作会话中编辑的内容的参与者处于协作会话中时,通过一个或一个以上的显示生成组件显示内容的第一个视图,该视图由协作会话中的多个参与者共享。 另外,《苹果专利 | 用于实时通信的设备、方法和图形用户界面》描述了一种用于实时通信的计算机系统和图形用户界面。在该方法中,通过与一个或多个显示生成组件通信,计算机系统上的实时通信用户界面对应于用户与计算机系统中实时通信会话的不同用户之间进行的实时通信会话,并通过一个或多个显示生成组件显示实时通信会话中的一个或多个参与者的第一个空间受限表示。 此外,《苹果专利 | 用于检测输入的设备、方法和图形用户界面》描述了一种检测用户输入的方法。在该方法中,通过在与一个或多个显示生成组件通信的计算机系统上检测用户的一部分执行的输入,并响应于检测到的输入来执行操作。 此外,《苹果专利 | 间接运动映射管道和捏合质心》描述了一种处理手势输入的方法,其中从一个或多个传感器获取手的手追踪数据,根据手追踪数据确定手的位置和方向,并基于手的方向应用与手位置的预定义偏移以确定捏合质心,并基于捏合质心确定输入位置。 除此之外,《苹果专利 | 用户输入的活动和非活动模式转换》描述了一种处理手势输入的方法,其中通过基于一个或多个摄像头帧获取的第一只手的手追踪数据,检测第二只手的第一输入手势,并确定第一只手是否处于活动状态,并根据第一只手的活动状态确定是否启动与第一手势相关联的输入动作。 此外,《苹果专利 | 使用手指区域进行捏手识别》描述了一种启用手势输入的方法,其中基于一个或多个摄像头帧获取的手追踪数据,检测第一只手指和第二只手指之间的接触事件,并确定第一手指上的第一个接触位置和第二只手指上的第二个接触位置,并启用与第一手势相对应的输入动作。 除此之外,《苹果专利 | 基于区分直接和间接用户交互的输入识别》描述了一种将用户活动解释为与在三维空间中的用户界面元素的用户交互的设备、系统和方法。 此外,《苹果专利 | 在电子设备上创造最佳的工作、学习和休息环境》描述了一种基于用户身体数据的方法,用于识别用户的认知状态,并使用周围环境更新环境,以促进用户对活动的认知状态。 另外,《苹果专利 | 内容亮度和色调调节》描述了一种根据确定的观看状态来调整亮度特性的方法,该观看状态可能是用户在通过头显观看XR环境视图时的眼睛感知/适应状态。 最后,《苹果专利 | 保护用户隐私的输入识别系统》描述了一种在系统或共享仿真区域中接收应用程序UI几何图形并输出交互事件数据的架构,以保护用户的隐私。
2024年12月09日美国专利局新申请AR/VR专利摘选

最新资讯保时捷在媒体活动利用Vision Pro的SharePlay功能介绍新跑车

保时捷团队利用苹果Vision Pro举行了一次创新的媒体活动,让记者们以沉浸式方式查看新款911 Carrera GTS的引擎和内部设计。活动中,媒体小组通过空间计算技术与保时捷工程师互动,能够解构汽车的系统和组件,甚至观察汽车底部和空气动力学。这种新颖的Presentation方式显著提升了传统汽车发布的体验。
最新资讯保时捷在媒体活动利用Vision Pro的SharePlay功能介绍新跑车

最新的Quest更新为Virtual Desktop和手部跟踪带来了重大改进。

Meta最新的Quest v72更新增加了一些重要的改进,包括手部追踪和使用头显作为Windows电脑的虚拟桌面。该功能允许用户使用Quest 3和3S头显与Windows 11电脑无缝连接,并在虚拟环境中创建键盘的剪切图。然而,这些功能目前还处于实验和预览阶段,并可能需要一段时间才能推向所有用户。 在进行更新前,用户需要确保满足Quest 3或3S头显和运行Windows 11 22H2或更新版本的电脑的硬件要求,然后按照Meta提供的步骤进行设置。此外,除了虚拟桌面和键盘追踪,v72版本还改进了手部追踪的稳定性和响应性,并添加了新的手部射线可视化功能。 虽然Meta和微软都表示这些功能还处于实验阶段,可能存在一些问题,但Meta计划逐步将它们推向更多用户,并最终作为默认功能。此外,v72更新还在Quest的Instagram应用中添加了Instagram聊天功能和现场呼叫字幕。用户可以按照Meta的指示进行更新。Oculus Quest的更新是分批推出的,用户可能需要等待一段时间才能使用可用的v72版本。检查您使用的是否是最新版本的方法如下: 1. 按下右手触摸控制器上的菜单/Meta按钮,弹出通用菜单。 2. 点击通用菜单左侧的时钟图标。 3. 在右上角选择"设置"。 4. 在左侧菜单中选择"系统",然后选择"软件更新"。 5. 有时即使没有可用的更新,重新启动头显也会安装待处理的更新。 如果您有更高级的了解,还可以使用Meta的工具强制更新您的头显至最新版本。