中美研究员利用GPT-4V为XR文生3D场景建立评估指标

文生图、文生视频和文生3D等领域正在快速发展中。这些文生技术与XR结合,可以快速生成各种逼真的场景。然而,在这些技术的初期发展中,评估指标的缺乏可能会是一个问题。为了解决这一问题,香港中文大学、斯坦福大学、Adobe、南洋理工大学和上海人工智能实验室组成的团队开发了一个名为GPT-4V的评估指标,它能够与人类判断保持一致,并提供高效全面的文生3D模型评估。然而,现有的评估指标通常缺乏针对多种3D评估需求的通用性,而用户研究又很难扩展和成本较高。因此,团队提出了一种利用GPT-4V的框架来创建自动度量标准,以满足各种评估需求,并与人类判断紧密结合。经过初步实验证明,这一框架可以超越现有指标,在不同评估标准中与人类判断更一致地评估文生3D模型。然而,该框架仍然面临一些挑战,如扩大研究规模、模型的响应不准确、构建对抗模式攻击等。总的来说,这项研究为文生3D模型的评估提供了一个有前景的新框架。
中美研究员利用GPT-4V为XR文生3D场景建立评估指标

普林斯顿大学和Meta提出神经光学扩展量扩展器,为XR显示新时代奠定基础

全息显示器在虚拟现实和增强现实方面有广阔的应用前景。然而,现有的动态空间光调制器对衍射角施加了严格的限制,导致现代全息显示器具有较低的光学扩展量。为了解决这一限制,普林斯顿大学和Meta提出了一种神经光学扩展量扩展器,通过学习自然图像数据集,为超宽视场提供更高的衍射角度,并保持紧凑的形状参数和显示内容的保真度。在实验中,他们实现了64倍的光学扩展量扩展,将视场扩展了一个数量级,并获得了超过29 dB的高保真重建质量。这项研究为沉浸式显示的新时代打下了基础,能够将虚拟世界和现实世界混合显示。全息图像具有真正的深度,因此可以无缝地整合到日常世界的正常视图中。这种技术可以改变我们与环境的交互方式,并在多个领域中找到广泛的应用。但是,制造全息显示器仍然面临障碍,图像质量尚不完美,光学元件的制造工艺需要改进。
普林斯顿大学和Meta提出神经光学扩展量扩展器,为XR显示新时代奠定基础

微软发布HoloLens MR+AI 任务辅助的开源平台SIGMA

微软开发的开源研究平台SIGMA旨在构建一个交互式人工智能系统,帮助人们在现实世界中完成任务。这个系统需要具备物理智能和社交智能,通过多模态感知和推理环境来与人类合作。SIGMA是一个基于HoloLens 2设备的交互式应用程序,结合了混合现实和人工智能技术,使用大型语言和视觉模型指导用户完成任务。它能回答用户在任务过程中的问题,检测和追踪与任务相关的对象,并提供相应指示。SIGMA是一个研究平台,帮助其他研究人员跳过基本工程挑战,并专注于未来有趣的研究挑战。它基于Platform for Situated Intelligence(PSI)框架,该框架支持快速原型设计和数据驱动的开发。微软表示,SIGMA是对探索人工智能和混合现实的持续承诺的证明。与此同时,微软还提供了企业级的混合现实解决方案Dynamics 365 Guides,为一线员工提供逐步指导和相关信息。
微软发布HoloLens MR+AI 任务辅助的开源平台SIGMA

芬兰阿尔托大学研究员在虚拟现实中指导舞蹈编排

芬兰阿尔托大学的研究人员开发出了一种名为WAVE的技术,用于在虚拟现实中指导舞蹈编排。传统的技术对于舞蹈编排依赖于预先排练和简化,而WAVE技术则通过利用人浪来引导舞蹈,解决了在虚拟现实中舞者移动的问题。研究人员通过模特舞者的波浪状动作预测未来的舞蹈动作,使舞者可以实时跟上编排动作,而不需要进行事先排练。研究实验表明,WAVE技术可以适用于慢节奏的舞蹈风格,但对于更快的动作仍需要进一步研究和开发。除了虚拟舞蹈游戏,该技术还可应用于音乐视频、卡拉ok和太极等领域。此外,研究人员还指出,通过在社交虚拟现实中发送动作来实现舞蹈互动可能成为一种全新的跳舞方式。WAVE技术支持Meta Quest 2和Quest 3两种设备。
芬兰阿尔托大学研究员在虚拟现实中指导舞蹈编排

“异形VR”不兼容或标志Quest 2、Quest Pro生命周期结束

VR老牌工作室Survios宣布将推出基于“异形”题材的游戏《Alien: Rogue Incursion》,并确认该游戏将于今年支持Meta Quest 3头显,但不会在其他Quest头显上发布。这可能意味着开发者对支持Quest 2和Quest Pro的兴趣正在减弱。《Alien: Rogue Incursion》将支持索尼PSVR 2和Steam VR。Survios的发言人指出,该游戏仅支持Meta Quest 3,不包括Quest 2或Quest Pro。而Quest 2已经上市近四年,而Meta今年可能会推出一款全新的亲民版头显,还多次下调设备售价,目的似乎是为了清空库存。另一方面,Quest Pro销量不佳,售价也一直下降,甚至有消息称即将停产。可以推测,Meta可能已经提前告知开发商,不要浪费时间和精力确保游戏兼容即将退出历史舞台的旧款硬件。同时,开发者自己也意识到Quest 2和Quest Pro的生命周期接近结束。作为一家资深的VR工作室,Survios多年来推出的作品备受欢迎。如果这样一个多产的工作室认为是时候放弃Quest 2和Quest Pro,其他开发者可能也会效仿。可以说,“异形VR”可能标志着Quest 2和Quest Pro结束的开始。
“异形VR”不兼容或标志Quest 2、Quest Pro生命周期结束

Meta增强现实研发副总监Thomas Reardon辞职

根据The Information的报道,Meta增强现实团队的研发副总监托马斯·里尔登已经辞职,将在五月离开公司,但他将继续担任Meta的顾问。他将以顾问的身份与Meta首席技术官安德鲁·博斯沃思和增强现实团队副总裁亚历克斯·西梅尔保持联系。托马斯·里尔登是美国神经科学家,也是神经界面初创公司CTRL Labs的创始人。在2019年,Meta收购了CTRL Labs,并将托马斯·里尔登并入公司。 CTRL Labs一直致力于开发一种基于肌电图的腕带,可以捕捉大脑信号并将其转换为计算机输入。Meta认为这是控制增强现实眼镜的理想方式。Meta的神经界面研究于2021年首次向公众展示。根据泄露的硬件路线图,相关产品可能会在2025年以两种形式发布,作为控制第三代Ray-Ban Meta智能眼镜的腕带,以及作为独立的Meta品牌智能手表。
Meta增强现实研发副总监Thomas Reardon辞职

“Helldivers 2”影迷预告展示了VR环境下的激烈体验

《地狱潜伏者2》(2024)目前还没有正式或非正式的VR支持,尽管一个新的粉丝制作的预告片展示了如果有VR支持会有多么沉浸式。这个非官方影片由YouTube用户'DemoAkuroVR'制作,它重新构想了基于小队战斗的射击游戏在《剑与魔法》的修改版本中的动作,这个知名的VR战斗沙盒游戏专注于面对一波又一波的敌人,并以华丽的近战和魔法方式斩首他们。视频展示了DemoAkuroVR将《鬼泣》(在《剑与魔法》中构建)改编成VR游戏的过程。 尽管有许多使用虚幻引擎4和5构建的游戏通过Flat2VR、Team Beef和Praydog的UEVR修改而得到VR支持,但由于《地狱潜伏者2》是使用少用的Autodesk Stingray游戏引擎构建的,非官方的VR修改可能需要一段时间才能实现。 虽然一个修改可能无法完全包含DemoAkuroVR视频中展示的强烈的基于物理的互动,但是谁知道呢?也许开发商Arrowhead Game Studios会注意到,并为游戏实现他们自己的VR支持。

2024年04月29日Quest/Rift/Steam 促销App汇总

每日促销是有关XR内容平台的最新促销信息。本文提到了Meta Quest、Meta Rift和Steam平台的最新促销VR应用程序。Meta Quest是一种流行的6DoF移动VR平台,而Meta Rift和Steam则是主流的PC VR内容平台。文章还包含了Meta Quest和Steam平台的一些促销样品,但没有提供具体的促销内容。
2024年04月29日Quest/Rift/Steam 促销App汇总

《异形:侵略罪恶》标志着Quest 2和Quest Pro的终结的开始。

VR工作室Survios宣布他们即将推出单人恐怖游戏《异形:侵蚀》限定于Meta Quest 3平台,并不会在其他Quest头盔上推出。这引发了人们对开发者是否对支持Quest 2和Quest Pro的兴趣减退的猜测。Survios发言人表示,根据独立头盔的发展方向,他们的游戏选择仅限于Meta Quest 3。Survios近期降低了上一代头盔Quest 2的价格,并推出了大量官方配件的优惠活动。此外,关于Meta是否正在开发更为便宜的“Quest 3 Lite”也有传闻,预计该产品将取代Quest 2的位置。Survios的选择可能成为其他开发者效仿的榜样。

最新资讯传Vision Pro第二代预计要到2026年底才能推出

马克·古尔曼提到,苹果Vision Pro的第二代产品预计将在2026年底发布,关键在于降低成本。苹果正与中国的视涯和京东方洽谈,目标是将显示屏成本降低50%。第一代Vision Pro的第二代产品可能在2025年推出,预计将使用更经济的A系列芯片和较低配置的显示屏。此外,苹果计划在今年晚些时候发布国行版Apple Vision Pro。
最新资讯传Vision Pro第二代预计要到2026年底才能推出