Insider Insider

Nweon

nweon 文章

马里兰大学团队为XR研发利用水压的触觉反馈系统

马里兰大学的团队开发了一种新的触觉系统,用水压而不是机械装置提供力反馈。这个系统名为JetUnit,在虚拟现实环境中创造了多样化的触觉体验。这个装置可以模拟从轻柔触摸到尖锐刺感的不同感觉。与其他触觉技术相比,JetUnit系统能够产生更大范围的力。系统由一个由腈制成的薄水密膜和一个独立的腔室组成,可以将水与用户隔离。研究团队解释说,他们选择使用水射流是因为水作为不可压缩流体能量传递效率高。然而,保持用户干燥是一个挑战,团队在系统设计中采取了一些措施来解决这个问题。目前的原型可以实现皮肤接触压力范围为16至442 kPa和10 FPS的最大频率。未来,研究人员计划将JetUnit扩展成一个全身触觉系统,并整合热反馈。
马里兰大学团队为XR研发利用水压的触觉反馈系统

研究分享:室内手持式AR的阻碍因素以及解决方案

根据映维网Nweon于2024年12月10日的报道,日本大阪大学的研究人员通过对智能手机和用户进行实验,发现了增强现实(AR)在建筑物内的应用中存在的问题,并找到了潜在的解决方案。他们指出,AR应用需要智能手机知道两个关键信息:定位和追踪。为了实现这一点,智能手机使用了视觉传感器(摄像头和激光雷达)和惯性测量单元(IMU)。研究小组进行了一系列案例研究,探讨了AR的故障问题,通过禁用特定传感器和改变环境来隔离问题。研究发现,虚拟元素常常会在场景中出现"漂移",导致晕动症和降低真实感。他们发现在远处、极端角度或黑暗房间中很难找到视觉地标,激光雷达效果不佳,IMU在不同速度下误差较大。为解决这些问题,研究团队建议采用基于无线电频率的定位,比如超宽带(UWB),作为潜在的解决方案。他们认为,将超宽带或其他传感模式与基于视觉的技术集成,将极大地改善增强现实应用。
研究分享:室内手持式AR的阻碍因素以及解决方案

加州大学研究驾乘VR体验的晕动症因素:速度和坐姿

苹果、索尼、奥迪、丰田、宝马和大众等汽车制造商都在探索在汽车领域中应用XR技术。然而,晕动症是一个问题。加州大学的研究人员进行了一项研究,探讨了乘坐汽车时使用VR对晕动症的影响因素。实验结果显示,较快的驾驶速度会显著增加晕动症评分,而扩大的前向视觉线索会导致更高的晕动症评分。此外,倾斜姿势并没有显著减轻症状的作用。感觉冲突理论是解释晕动症的主要理论,但视觉诱发的晕动症与vection和晕动症之间的关系复杂且存在争议。性别和暴露是影响晕动症易感性的重要因素。此外,研究人员观察到姿势和对齐之间的相互作用,较高的驾驶速度和正向自运动会增加vection感和晕动症评分。然而,姿势对于晕动症的影响结果不明确。这项研究的结果强调了速度和视觉线索对vection和晕动症的重要影响,并进一步研究了头部运动和视觉线索的关联。
加州大学研究驾乘VR体验的晕动症因素:速度和坐姿

Meta在测试允许用户通过手机创建自己房间的3D扫描

Meta最近发布了一款名为Horizon Hyperscape的演示应用,专为Quest 3和Quest 3S设计。与谷歌街景中的360度照片不同,Horizon Hyperscape采用了高斯飞溅技术,可以让用户在一个逼真的场景空间中自由穿行。 知名XR社区成员Luna在代码串中发现了有关Hyperscape下一步计划的线索。很明显,Meta目前正在测试一项功能,允许用户通过智能手机直接创建自己的房间扫描。 此外,Meta还在测试空间扫描的协同定位功能,使得多人可以共同访问相同的Hyperscape空间。此外,代码还表明用户可以将Hyperscape作为Horizon Worlds的起始环境。 需要注意的是,这项技术似乎还不成熟,因为代码显示相关扫描可能需要长达8小时的处理时间。 Meta的Reality Labs产品经理Marcello Typrin在采访中提到了相关计划。他希望用户能够扫描自己的家,并邀请朋友过来,而不用住在附近,朋友可以位于地球的另一端。他认为这是创造有意义的体验和与有意义的人在一起的强大概念。他们希望将数字世界中的奇幻之地与现实世界地点结合起来,以一种舒适和自然的方式在不同地方之间移动。
Meta在测试允许用户通过手机创建自己房间的3D扫描

美国加州大学利用VR训练机器狗执行任务

中国兵装集团研制的“机器狼”在中国航展上引起了广泛关注,这种四足机器人被认为是一个重要的发展方向。加州大学圣地亚哥分校正在利用VR来训练四足机器人,以提升其任务执行能力。英伟达、特斯拉和小鹏等公司也在探索通过XR来训练人形机器人。集成操纵器的四足机器人的任务是在周围环境中快速移动的同时操纵物体,例如收集物品并将其带给人类,或者将目标物品放在特定位置。目前训练四足机器人完成任务的主要方法是模仿学习,通过处理演示数据来学习机器人完成任务的策略。然而,现有的方法在实际环境中的表现不尽如人意,无法支持四足机器人泛化到各种复杂的任务。为了解决这个问题,加州大学圣地亚哥分校的研究人员提出了一个名为WildLMa的新框架,以提高四足机器人在实际环境中的技能。该框架通过使用视觉语言模型训练机器人获得通用技能,并将这些技能链接到序列中,使机器人能够处理复杂任务。团队表示已经在一系列实验中展示了该框架的潜力,并成功地训练了一个四足机器人完成各种任务。
美国加州大学利用VR训练机器狗执行任务

苹果推送visionOS 2.2的第二个RC版本

苹果最近发布了visionOS 2的第二个RC版本,并推送给开发者进行测试。开发者可以通过设备端的设置应用开启“开发者测试版”开关并进行下载,但需要注册苹果开发者账号,并在安装新软件前进行备份。对于Apple Vision Pro用户,安装visionOS测试版的具体过程是:打开设置,选择通用,启用测试版更新,然后选择visionOS Developer Beta。此外,开发者还可以通过Xcode的visionOS模拟器尝试新版本的visionOS系统。
苹果推送visionOS 2.2的第二个RC版本

英伟达开发QUEEN大模型,可高效实现自由视点VR视频流媒体体验

英伟达和马里兰大学合作开发了一个名为QUEEN的人工智能模型,可以高效实现自由视点的视频流媒体。QUEEN能够让用户从任何角度体验3D场景,并在特定高度动态的场景中减小模型大小,每帧只有0.7MB,训练时间不到5秒,渲染速度约为350帧/秒。英伟达指出,这种速度和视觉质量的结合,可支持音乐会和体育比赛的媒体广播,并提供沉浸式虚拟现实体验或比赛关键时刻的即时重播。以前用于生成自由视点视频的方法要么占用太多内存,要么牺牲视觉质量,而QUEEN平衡了这两者,并能更快地渲染视觉效果,支持流媒体应用。QUEEN可应用于沉浸式流媒体应用、教授技能、体育比赛观赛、工业环境等。该研究团队提出了一个3D高斯飞溅的框架,用于自由视点流媒体,并进一步提出了一个量化稀疏框架,用于有效存储残差。英伟达表示,他们计划开源发布QUEEN的代码,并通过项目页面共享。
英伟达开发QUEEN大模型,可高效实现自由视点VR视频流媒体体验

夏普旗下Dynabook发布全新AR眼镜DynaEdge XR1

夏普旗下的dynabook公司宣布推出新款AR眼镜dynaEdge XR1,并计划于2025年第一季度上市,具体售价尚未公布。这款设备采用了韩国厂商LetinAR的光学技术,分辨率为1920×1080,视场角为45度。眼镜还配备了一个RGB摄像头和两个单色摄像头。dynaEdge XR1需要配备一个名为dynaEdge C1的计算单元,与其他设备无缝对接,方便不同场景的切换和使用。dynaEdge XR1主要用于拣货协助、远程支持、教育/培训等场景,旨在提高用户的工作效率和问题解决能力。该款产品定于2025年第一季度上市,更多详细信息请访问dynabook的官方网页。
夏普旗下Dynabook发布全新AR眼镜DynaEdge XR1

韩媒:三星计划在2025年生产5万台XR眼镜

据韩国媒体《首尔经济日报》报道,三星计划于2025年共生产5万台XR眼镜。这些XR眼镜是三星与谷歌和高通联合开发的,预计将在2025年1月的Galaxy S25手机发布会中进行展示。根据业界消息人士透露,三星可能以视频或渲染图的形式展示这款与谷歌和高通合作研发的XR眼镜,但目前还没有实体设备。据报道,三星还计划在明年下半年与苹果展开正面对决,首先在第三季度生产2万台XR眼镜,然后在第四季度生产3万台。三星认为XR设备是延续其智能手机业务的未来事业。
韩媒:三星计划在2025年生产5万台XR眼镜

2024年12月09日美国专利局新申请AR/VR专利摘选

这篇文本介绍了一系列专利,涵盖了多个XR公司如Google、Samsung、Microsoft、Sony、Magic Leap和Snap的创新技术。 其中一些专利涵盖了增强现实和虚拟现实(AR/VR)领域的眼镜和设备设计,如可插入处方镜片的AR眼镜显示器、头显设备的散热结构和显示驱动电路,以及AR设备的操作方法和信息显示方法。 此外,还包括一些与声音处理、光学滤波器、图像处理和热管理相关的专利。 这些专利表明XR行业在硬件设计、用户体验、图像处理和数据分析等方面仍然有很多创新和发展的空间。 美国专利及商标局最近公布了一批新的AR/VR专利,总共有113篇。其中一些专利涉及到混合图像传感器、强度成像和深度传感、反向透视眼镜、空间音频控制的API、基于环境映射的摄像头优化等。另外还有关于显示和捕获图像的技术、头显录制内容、自适应虚拟现实内容放大、电子设备的色彩校正、应用程序间网络配置文件、带天线的电子设备、AR显示系统、注视点显示内容渐晕、micro-oled亚像素均匀性补偿架构、在三维环境中移动对象的方法、管理计算机生成体验的技术、实时通信的设备和方法、按比例显示物理项目的技术、在扩展现实环境中呈现系统用户界面的设备和方法、合成虚拟和物理相机图像等。这些专利涵盖了AR/VR领域的多个方面,展示了苹果在该领域的创新和技术进步。本专利涉及在扩展现实环境中为用户体验会话生成提醒的设备、方法和图形用户界面。在本实施例中,当用户体验会话处于活动状态时,计算机系统检测用户注意力方向的变化。响应于检测到用户注意力方向的变化,如果用户的注意力符合提醒标准,则计算机系统输出提醒以将注意力集中在用户体验会话上。如果用户注意力不符合提醒标准,则放弃输出提醒。 另外,还有其他专利涉及显示物理位置内容、管理实时通信会话中参与者的显示、集中式渲染环境中的系统状态管理、预览计算机生成的虚拟对象、查看和与三维环境交互、响应于低光条件的手部抠图、透视管道、细化深度图、通信会话的传送门内容、合成的手部纹理、渲染具有不同感知质量的层、平滑视频/图像信号压缩等方面的设备、方法和图形用户界面。 这些专利涉及的技术对于开发和改进扩展现实设备和应用程序具有重要价值。《 苹果专利 | 用于呈现内容的设备、方法和图形用户界面 》描述了一种在计算机系统上使用一个或多个显示生成组件和一个或一个以上输入设备来呈现内容的方法。在该方法中,通过一个或更多显示生成组件在第一显示位置显示多个对象中的第一对象,并在显示第一对象的同时通过一个或多个输入设备检测与在多个对象内导航的用户请求相对应的第一用户输入,并且响应于检测到第一用户输入后,通过一个或多个显示生成组件显示第一对象从第一显示位置到不同于第一显示位置的第二显示位置的移动,同时通过修改第一对象相对于显示第一对象的背景的不透明度来降低第一对象的视觉突出度。 另外,《苹果专利 | 用于内容协作和共享的设备、方法和图形用户界面》描述了一种可用于协作会话的计算机系统和图形用户界面。在该系统中,通过与多个显示生成组件和多个输入设备通信,当计算机系统与多个在协作会话中编辑的内容的参与者处于协作会话中时,通过一个或一个以上的显示生成组件显示内容的第一个视图,该视图由协作会话中的多个参与者共享。 另外,《苹果专利 | 用于实时通信的设备、方法和图形用户界面》描述了一种用于实时通信的计算机系统和图形用户界面。在该方法中,通过与一个或多个显示生成组件通信,计算机系统上的实时通信用户界面对应于用户与计算机系统中实时通信会话的不同用户之间进行的实时通信会话,并通过一个或多个显示生成组件显示实时通信会话中的一个或多个参与者的第一个空间受限表示。 此外,《苹果专利 | 用于检测输入的设备、方法和图形用户界面》描述了一种检测用户输入的方法。在该方法中,通过在与一个或多个显示生成组件通信的计算机系统上检测用户的一部分执行的输入,并响应于检测到的输入来执行操作。 此外,《苹果专利 | 间接运动映射管道和捏合质心》描述了一种处理手势输入的方法,其中从一个或多个传感器获取手的手追踪数据,根据手追踪数据确定手的位置和方向,并基于手的方向应用与手位置的预定义偏移以确定捏合质心,并基于捏合质心确定输入位置。 除此之外,《苹果专利 | 用户输入的活动和非活动模式转换》描述了一种处理手势输入的方法,其中通过基于一个或多个摄像头帧获取的第一只手的手追踪数据,检测第二只手的第一输入手势,并确定第一只手是否处于活动状态,并根据第一只手的活动状态确定是否启动与第一手势相关联的输入动作。 此外,《苹果专利 | 使用手指区域进行捏手识别》描述了一种启用手势输入的方法,其中基于一个或多个摄像头帧获取的手追踪数据,检测第一只手指和第二只手指之间的接触事件,并确定第一手指上的第一个接触位置和第二只手指上的第二个接触位置,并启用与第一手势相对应的输入动作。 除此之外,《苹果专利 | 基于区分直接和间接用户交互的输入识别》描述了一种将用户活动解释为与在三维空间中的用户界面元素的用户交互的设备、系统和方法。 此外,《苹果专利 | 在电子设备上创造最佳的工作、学习和休息环境》描述了一种基于用户身体数据的方法,用于识别用户的认知状态,并使用周围环境更新环境,以促进用户对活动的认知状态。 另外,《苹果专利 | 内容亮度和色调调节》描述了一种根据确定的观看状态来调整亮度特性的方法,该观看状态可能是用户在通过头显观看XR环境视图时的眼睛感知/适应状态。 最后,《苹果专利 | 保护用户隐私的输入识别系统》描述了一种在系统或共享仿真区域中接收应用程序UI几何图形并输出交互事件数据的架构,以保护用户的隐私。
2024年12月09日美国专利局新申请AR/VR专利摘选