Insider Insider

Snap AR/VR专利提出一种在二维图像域实时检测场景变化的系统

Snap在一项名为“Scene change detection with novel view synthesis”的专利申请中提出了一种在二维图像域而不是三维空间中实时检测场景变化的系统。该系统使用视觉定位将两个会话的坐标系统对齐,并应用NeRF模型生成新图像。系统通过减去合成图像特征和第一会话图像特征之间的差异来识别场景变化。该系统以特征相减计算热图,并将其提供给AR应用程序显示。Snap的专利申请描述了一个六自由度追踪器,用于估计AR设备的姿态,以及一个场景变化检测系统,用于对比当前和先前会话的轨迹和图像。通过使用二维图像特征的变化来检测场景变化,该系统可以解决一些资源密集型和准确性问题,并帮助节省功耗。该专利申请最初于2022年2月提交,并最近得到美国专利商标局的公布。
Snap AR/VR专利提出一种在二维图像域实时检测场景变化的系统

英伟达、高校研究员等提出3D感知注视重定向方法GazeNeRF

瑞士联邦理工学院(ETH)、代尔夫特理工大学、英伟达和伯明翰大学的研究人员在一篇名为《GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields》的论文中提出了一种新的3D感知注视重定向方法,名为GazeNeRF。该方法利用了基于图像的条件神经辐射场(NeRF)的最新进展。研究人员将人脸和眼睛建模为两个单独的3D结构,并使用神经辐射场模型将它们构建为单独的特征体积。为了实现3D感知的注视重定向能力,研究人员提出了一种新的two-stream MLP结构,分别预测眼球和面部区域的特征映射。通过交换眼睛区域的特征并应用3D旋转变换,GazeNeRF可以生成逼真的面部图像,并在注视重定向任务方面取得了领先性能。研究人员表示,GazeNeRF具有3D感知的优势,并且在下游应用方面具有巨大的潜力。然而,他们也指出GazeNeRF具有训练时间长的限制,并表示将把减少训练时间作为未来的工作方向。
英伟达、高校研究员等提出3D感知注视重定向方法GazeNeRF

Meta专利提出将AR/VR头显漏光偏离眼睛,从而提高对比清晰度

Meta在一项名为“基于光导的反射显示面板照明器”的专利申请中提出了一种解决XR头显漏光问题的方法。该方法利用照明器将光束引导到反射显示面板,形成图像光束。在光导中形成的漏光光束与图像光束共同传播,但它们不会重叠,并朝向视窗。照明器包括透射衍射光栅,用于将照明光束以不同角度重新定向到反射显示面板。透射衍射光栅可以根据光的偏振状态重定向光束。此外,照明器还可以包括波片,用于使照明光束和图像光束具有相互正交的偏振状态,以进一步减少漏光。此外,显示装置还可以配备眼动追踪器和控制器,以根据用户的眼睛位置将图像光束定向到所需位置。这项专利申请可以提高XR头显的图像对比度和清晰度,解决漏光问题。
Meta专利提出将AR/VR头显漏光偏离眼睛,从而提高对比清晰度

Resolution Games宣布开发《Demeo》游戏Vision Pro版本

苹果将于2024年初推出名为Vision Pro的设备,该设备没有专用控制器,主要通过手部和眼部输入控制。这引发了社区的担忧,认为游戏开发商将难以移植现有的VR游戏到该设备上。然而,VR游戏开发商Resolution Games宣布他们正在开发由热门桌游《Demeo》衍生的Vision Pro版本,并将支持VR和MR两种玩法。同时,新版本的《Demeo》已经为Quest 2和Quest Pro提供了包含手部追踪支持的混合现实玩法。游戏允许多达四名玩家一起探索充斥着恐怖怪物和危险陷阱的地牢空间。该工作室还在积极布局MR游戏,并表示混合现实项目目前占他们工作的一半。Resolution Games的联合创始人保罗·布雷迪表示,“真实与虚拟之间的交互令MR变得神奇,手部追踪技术的进步不仅令无控制器的未来成为可能,而且令人难以置信地引人入胜,我们正在迅速进入一个身体比手持控制器更有效的未来”。
Resolution Games宣布开发《Demeo》游戏Vision Pro版本

中山大学孙逸仙纪念医院用HoloLens 2实现首例可视化皮瓣移植术

根据映维网(Nweon)的报道,中山大学孙逸仙纪念医院团队利用微软HoloLens 2和西门子医疗的双源CT方案成功实施了全国首例可视化皮瓣移植手术。传统手术中,医生只能依靠术前平扫图像和经验估算病灶位置范围,而利用HoloLens 2,医生可以将病灶投影在体表上,精确勾勒出手术区域。在手术中,医生能够实时配准全息仿生实景渲染图像与患者实体,精确勾画出皮瓣血管走行,从而实现可视化自由式皮瓣切取,大大缩短手术时间并提高手术准确性。另外,西门子医疗的双源CT可以重建出逼真的全息仿生实景渲染影像,帮助医生确定皮瓣区域,助力手术诊疗规划。此外,中山大学孙逸仙纪念医院团队将继续拓展可视化导航应用,为更多患者带来福祉。
中山大学孙逸仙纪念医院用HoloLens 2实现首例可视化皮瓣移植术

Meta发布新AR/VR广告片“The Impact is Real”:XR在积极影响人们生活

近日,Meta公司推出了一则全新的广告视频,名为“The Impact is Real(切切实实的影响)”,展示了虚拟现实在现实生活中的积极作用。视频中展示了医生在虚拟眼球上进行手术排练、焊工使用虚拟金属进行焊接练习、英国足球运动员拉什福德在受伤恢复期间使用VR与球场保持联系等场景。Meta希望通过这样的广告宣传活动提醒人们,虚拟现实已经在各行各业产生了积极的影响。公司高管表示,太多人依然将虚拟现实与游戏联系在一起,而他们希望通过这样的宣传活动吸引那些尚未考虑过使用虚拟现实或增强现实技术的软件开发者的兴趣。此外,虚拟现实也被应用于外科医生培训、运动员训练、焊工实践经验、航空公司机械师与机组人员培训以及学生学习化学等领域。专家指出,Meta此举可能为XR技术开启商业应用和增加收入带来新的机遇。
Meta发布新AR/VR广告片“The Impact is Real”:XR在积极影响人们生活

最新资讯苹果即将带来全新的visionOS应用商店,可兼容iPad、iPhone应用

苹果将在今年秋季发布的visionOS开发者测试版中推出全新的应用商店,支持数十万可在Apple Vision Pro上运行的iPad和iPhone应用。大多数iPad和iPhone框架都能在visionOS中使用,确保兼容性。开发者可在App Store Connect提交应用进行兼容性评估,使用Xcode 15测试版中的visionOS模拟器测试应用。利用visionOS SDK,开发者可以创建更自然的应用体验,并定制3D内容以支持眼睛及手部输入。
最新资讯苹果即将带来全新的visionOS应用商店,可兼容iPad、iPhone应用

游戏世界拉力锦标赛VR竞速游戏《EA Sports WRC》将对应PC VR

《EA Sports WRC》是由Codemasters开发的最新赛车模拟游戏,基于国际汽联世界拉力锦标赛。游戏包含18个官方赛段、10辆现代和近70辆历史赛车。Steam页面确认将支持VR,但VR模式将在发售后通过补丁更新。游戏具备动态操控系统,为玩家提供个性化的操作设置,还有“Builder”选项可自定义赛车及“Moments”重现赛季关键场景。此外,在线多人游戏支持32人大厅。游戏将于11月3日发布于PC、PS5和Xbox Series X|S平台。
游戏世界拉力锦标赛VR竞速游戏《EA Sports WRC》将对应PC VR