Insider Insider

英伟达分享AI技术MaskedMimic,专用于AR/VR等生成虚拟角色动作

英伟达开发的人工智能技术MaskedMimic专门用于生成虚拟角色的动作。该技术通过"掩码动作补全"的方法,根据少量信息生成符合物理规律和适应动态复杂场景的完整角色动作。换言之,只需提供部分关节位置或文字描述所需动作,系统就能自动生成完整的、符合物理规律和适应动态复杂场景的角色行为。MaskedMimic在AR/VR等领域具有广泛应用潜力,只需头手传感器的数据即可生成全身运动,无需额外硬件。MaskedMimic的工作原理是通过"掩码动作补全"统一角色的物理控制方法。传统的类人控制方法受到特定任务性质的限制,而MaskedMimic提供了一个统一的解决方案。此外,MaskedMimic的优势包括卓越的性能和Zero-shot泛化能力。未来,MaskedMimic可以应用于机器人应用、增强交互能力和技术改进等方面。在XR领域,MaskedMimic的动作补全能力可以用于生成逼真的全身运动。
英伟达分享AI技术MaskedMimic,专用于AR/VR等生成虚拟角色动作

美国马里兰大学提出基于水的VR触觉系统JetUnit

美国马里兰大学的研究团队提出了一种基于水的虚拟现实(VR)触觉系统JetUnit。这个系统旨在通过水射流产生广泛强度和频率的力反馈,以增强VR的沉浸感。该系统的设计挑战在于优化参数,使触觉设备能够产生力的反馈,同时保持用户的干燥。团队通过定量实验和感知研究确定了JetUnit的关键设计参数,并发现基于水的触觉系统能够提供不同的力反馈感觉,并显著增强虚拟现实体验的沉浸感。相比其他介质如空气,选择水作为力反馈的介质是因为水具有不可压缩的性质,能更有效地传递动量。JetUnit通过定制设计的腔室单元来实现力反馈,同时确保水包含在内,并采取一系列措施来降低水流强度的损失。当前的JetUnit原型能够实现16至442 kPa的皮肤接触压力范围和最大10 FPS的频率。整体而言,JetUnit系统利用水射流创造了不同触觉模式,为增强VR沉浸感开辟了新的可能性。
美国马里兰大学提出基于水的VR触觉系统JetUnit

Valve修正11月Steam VR调查数据,纳入Quest 3S

根据映维网(Nweon)的报道,Valve修正了先前公布的11月Steam硬件和软件调查数据,并将Quest 3S的数据纳入其中。修正后的数据显示,Quest 3S在11月份的占比为1.05%,环比增加1.02%。修正后的数据中,Quest 3仍然保持了20.08%的份额,环比增幅为2.32%。然而,根据社区反馈,这一数据似乎不太准确,因为SteamVR将使用Quest Link功能的Quest 3S头显报告为Quest 3。此外,串流工具Virtual Desktop的开发者盖伊·戈丁(Guy Godin)表示,SteamVR会将启用Virtual Desktop的Quest 3S头显也报告为Quest 3。这意味着在修正前的数据中,Quest 3S的份额被归类为未知头显类别。根据修正后的数据,Quest 3的份额从之前的"2.50%"修正为"1.46%"。然而,对于Quest 3的20.08%份额中究竟有多少计算了Quest 3S尚不确定。Valve目前尚未就此报道作出置评。
Valve修正11月Steam VR调查数据,纳入Quest 3S

索尼展示用于PSVR 2头显的手部追踪技术

索尼在Siggraph Asia 2024大会上展示了用于PSVR 2头显的手部追踪技术。该技术可以追踪用户手部的位置和姿态,提供每个关节的信息以及12种手势检测,并且无需额外硬件支持。虽然开发者是否已经可以在VR游戏中使用这项技术尚未确认,但PSVR 2很可能会正式纳入手部追踪功能。这将为PSVR 2带来裸手交互支持,并给开发者更多的选择,包括将手部追踪整合到现有的游戏中、移植其他平台的手部追踪游戏,或专门为PSVR 2创造全新的手部追踪体验。这项技术的展示包括一个支持裸手操作的小游戏,用户可以通过手势清理飞行的虚拟物体。PSVR 2的手部追踪功能将以60帧/秒帧率和低延迟识别手势的方式实现。
索尼展示用于PSVR 2头显的手部追踪技术

XREAL发布搭载自研空间计算芯片X1的XREAL One系列

XREAL已正式发布了搭载自研空间计算芯片X1的XREAL One和XREAL One Pro。这两款眼镜售价分别为500美元和600美元,并已在中国、美国、英国、法国、德国、意大利、捷克、荷兰、日本和韩国等国家和地区开启预购。XREAL One将于12月中旬开始发货,而XREAL One Pro则定于2025年初发货。 这两款设备可以通过USB-C数据线接入iPhone、Android设备、Steam Deck、Windows PC和MacBook等设备,并作为外接虚拟屏幕使用。XREAL One和XREAL One Pro的最大亮点之一是搭载了自研空间计算芯片X1,提供内置三自由度追踪,不再需要Beam适配器。设备的刷新率为120Hz,延迟低至3毫秒。 此外,这两款设备采用索尼的0.68英寸Micro OLED显示屏,亮度为600尼特,并提供两种IPD尺寸选择。另外,通过XREAL Air 2 Pro引入的电致变色调光功能,用户可以通过触控按钮调整镜片的透明度。XREAL One的对角线视场为50度,相当于面前两米位置的70英寸电视,而XREAL One Pro的对角线视场为57度,相当于面前两米位置的85英寸电视。此外,由于与Bose的合作,XREAL One系列的集成扬声器进行了升级,提供更强大、逼真的声音体验。 以上两款设备已经开始预购并将于不久后发货。
XREAL发布搭载自研空间计算芯片X1的XREAL One系列

AR硅基光学超透镜Imagia宣布重要技术突破加速图像特征检测

AR眼镜开发公司Imagia宣布取得了一项重要技术突破,名为Processing Optics。该技术利用微观光学滤光片识别复杂特征,如人类的手或脸,而无需标准的芯片图像处理算法,从而加快特征检测的速度。这项创新源于五年来的超材料光学研究,经过多年完善,用于AR/VR头显等设备的光学元件的超透镜技术。Processing Optics通过一组光学滤波器和数学卷积提供硬编码的图案识别算法。Demo演示了手和手势探测器只需要8个像素的信息就能完成任务,响应时间仅为80微秒。Imagia通过在光学器件中直接处理图像,将检测延迟减少了500倍,并且功耗不足1%。Imagia的Processing Optics技术对AR/VR头显中的人工智能和主动特征检测等应用具有巨大潜力,能够提升设备的续航时间20%或更多。
AR硅基光学超透镜Imagia宣布重要技术突破加速图像特征检测

AR医疗康复Stroll被纳入美国联邦医保系统合作

政务服务公司Lovell Government Services和AR神经康复技术开发商Stroll宣布与美国联邦医疗保健系统合作。这包括美国退伍军人健康管理局、美国军事卫生系统和美国印第安人卫生服务等。团队将通过美国联邦合同为这些机构提供基于增强现实(AR)的神经康复解决方案。Stroll主要通过AR技术将数字线索和功能活动融为一体,临床证据表明,与传统康复治疗相结合,AR策略可以明显改善患者的参与度和预后。与政府服务公司Lovell Government Services合作,Stroll的解决方案将被纳入美国联邦医疗保健系统。Lovell Government Services表示他们非常高兴能与Stroll合作,为需要的人带来AR解决方案,提高可及性和生活质量。而Stroll表示他们将为临床医生和退伍军人提供高端的AR康复解决方案,以支持康复并提高生活质量。
AR医疗康复Stroll被纳入美国联邦医保系统合作

OpenAI与Anduril合作,为美国国家安全部署先进人工智能系统

OpenAI和军工软件供应商Anduril正在合作,共同为国家安全任务部署先进的人工智能系统。他们将专注于改善反无人机系统及其实时检测、评估和应对空中威胁的能力。Anduril的Lattice平台已成功集成到士兵系统IVAS的硬件和软件平台中,旨在为士兵提供来自无人机、地面车辆或防空系统的实时信息。此举可能意味着IVAS的态势感知能力和士兵与智能代理交互的能力将进一步提升。
OpenAI与Anduril合作,为美国国家安全部署先进人工智能系统

库克再次为Vision Pro销量辩护:只是早期产品,而非大众产品

苹果首席执行官蒂姆·库克再次为苹果的XR设备Apple Vision Pro进行辩护,强调它是一款面向早期采用者的产品,而不是大众市场产品。他解释说,Apple Vision Pro的用户群体是那些希望拥有未来技术的人,而这个群体正在购买这款设备。库克认为生态系统对于XR设备来说非常重要,并对Apple Vision Pro的生态系统的发展表示乐观。虽然Apple Vision Pro的销量表现不如预期,但库克仍对它保持耐心和信心。对于Apple Vision Pro是否会朝着Meta和Snap发布的混合现实眼镜方向发展,库克表示增强现实非常重要,而Apple Vision Pro已经达到了其所能开发的最先进技术。他表示,关于未来的发展,我们将拭目以待。库克的创新哲学是“不求第一,但求最好”,他认为出色的产品需要时间来打磨和迭代,而苹果关注的是推出能真正造福用户的产品。
库克再次为Vision Pro销量辩护:只是早期产品,而非大众产品

《天行者公司的巨兽》评测 – 在VR动作冒险游戏中的一大步向前

2 《巨兽》是一个团队合作的VR游戏,玩家必须与其他玩家合作,打败强大的怪物。游戏提供了多种不同的机械装备,玩家可以利用这些装备来攻击怪物或保护自己。除了合作模式外,《巨兽》还提供了一个竞争模式,让玩家可以在一对一的对战中体验刺激的战斗。 《巨兽》在VR设计方面做了一些创新的尝试。首先,游戏采用了一种名为"面向行动"的控制方式,这意味着玩家可以通过身体的动作来控制游戏角色的动作。此外,游戏还使用了动态缩放技术,可以在玩家转动头部时自动调整游戏场景的大小和位置,以提供更加真实的游戏体验。 总的来说,Skydance的《巨兽》是一款非常引人注目的VR游戏,它展示了在原创IP上如何创造出令人惊叹的VR体验。通过在游戏中采用创新的控制方式和动态缩放技术,《巨兽》成功地将玩家置身于一个宏伟的幻想世界中,为他们带来了令人难忘的游戏体验。这款游戏的成功证明了创新和投资在VR设计中的重要性,为行业带来了许多宝贵的经验教训。《巨兽》是一款基于物理的战斗游戏,玩家扮演一个被诅咒的村民,拥有超人力量。游戏中有诸多被诅咒的敌人和恐怖的巨兽。玩家可以利用挡格和攻击系统来对抗敌人,同时也可以利用超人力量来一次击败多个敌人。游戏的后半部分主要是与装甲敌人的战斗,需要使用升级后的传奇武器,并通过锻造台进行升级。除了主要的战斗环节,游戏中还有环境谜题和小BOSS战斗。对付巨兽需要攀爬和攻击它们的弱点。游戏中还有收藏品、发现的笔记以及物品装备系统等额外内容。游戏的难度较高,需要多次尝试才能击败巨兽和小BOSS。游戏提供了沉浸式的体验,并没有使用"有用机器人"模式,使玩家可以自主探索。声音表演方面有一些不太符合游戏氛围的矛盾点,故事情节也稍显薄弱。总的来说,《巨兽》在视觉美感、沉浸式互动和基于物理的战斗方面表现出色。《巨兽》是一款在Quest 3上运行流畅的游戏,尽管其中存在一些俗套的情节和可预测的转折,但游戏的战斗和动态抓握移动方法仍然令人满足。对于人工智能敌人的表现,有时可能会感到有些机械和可预测。游戏整体来说非常出色,提供了有趣的关卡和庞大的巨兽供玩家探索。舒适度方面,游戏需要一定的身体实力,但同时支持坐着或站着玩的方式,以减少疲劳感。游戏提供标准的VR定位选项,可以根据玩家的喜好调整旋转力度和视觉小窗的大小。除了一个让人不太喜欢的电梯场景外,游戏的体验非常舒适。游戏还提供多种设置选项,如人工旋转、快速转向、平滑移动等,以适应不同玩家的需求。游戏还支持字幕和多种语言选项,并提供可调节的难度设置。