Insider Insider

为逼真AR/VR手部渲染,Meta+南洋理工大学提出URHand

Meta最近发布了他们的研究成果,名为Universal Relightable Hands(URHand),它是第一个通用的可重照明手部模型。该模型可以概括视点、姿势、照明和身份,并能使用手机扫描的图像进行个性化处理,然后在不同照明条件下进行逼真的渲染。为了简化个性化过程,研究人员基于Light Stage中捕获的多视图图像建立了一个强大的通用可重照明先验。他们将基于物理的渲染和神经重照明结合起来,在保持真实感的同时实现外观模型的数据驱动。研究人员还引入了反向渲染技术来估计材质参数和几何形状,以提高模型的精度。实验结果表明,URHand在质量和泛化方面优于其他方法,可以快速进行个性化处理并在任意照明条件下进行重新照明。这项研究为虚拟现实中逼真手部的再现提供了重要的进展。
为逼真AR/VR手部渲染,Meta+南洋理工大学提出URHand

苹果专利介绍了Vision Pro中App的启动切换细节

苹果公司在名为“Systems and methods for launching and replacing applications”的专利申请中介绍了一种在XR空间中启动和替换应用的系统。该系统可以根据用户的选择输入,在三维环境中启动与所选表示相对应的应用程序,并决定先前已启动的应用程序是继续显示还是停止显示。停止显示应用程序指的是从三维环境中删除应用程序,而不是遮挡应用程序的视图。应用程序的启动方式可以根据选择输入的类型来确定,而启动应用程序时可以替换先前启动的应用程序。此外,还可以通过运动输入来移动表示,并根据表示的位置启动相应的应用程序。 该专利申请于2023年6月提交,并在近期公布。需要注意的是,专利申请公布不代表专利获批和实际商用,审查周期可能在1年至3年之间。因此,该技术是否会得到应用以及实际效果还有待进一步观察。
苹果专利介绍了Vision Pro中App的启动切换细节

VR医疗培训Immertec获17500美元赠款,用于密歇根大学医学院VR培训

美国VR医疗培训创企Immertec获得了17500美元的赠款,用于密歇根大学医学院的VR培训试点项目。Immertec成立于2017年,专注于利用VR技术赋能医疗行业。他们利用实时虚拟现实平台Medoptic为医生提供虚拟培训。利用VR头显,医生可以身临其境地学习内窥镜手术并进行互动交流。获得的赠款将用于提供骨科手术体验给研究生学员。Immertec目前已与全球十大医疗设备制造公司中的六家合作,下一步计划是扩大客户群并招聘新员工。此前,该公司已获得160万美元的研究经费,并在2024年2月完成了400万美元的融资。
VR医疗培训Immertec获17500美元赠款,用于密歇根大学医学院VR培训

谷歌更新了ARCore,开始支持双摄像头立体深度,提升AR体验

谷歌的ARCore SDK目前只支持后置四摄像头的某款手机进行增强现实模式中的虚拟对象放置。然而,即将推出的谷歌 Pixel 4和4 XL将具备双摄像头支持,这将大大提升用户的增强现实体验。最近,Google Play Services for AR更新了有关版本的说明,包括支持设备双摄像头立体深度、将增强现实支持扩展到其他设备以及面向开发者的新性能监控和日志记录工具。谷歌在ARCore支持设备列表中添加了Pixel 4和Pixel 4XL,并表示双摄像头支持将在未来几周推出。这意味着系统可以利用Pixel 4和4 XL的双摄像头立体深度支持,使虚拟对象的放置和渲染更加逼真。
谷歌更新了ARCore,开始支持双摄像头立体深度,提升AR体验

微软发布Babylon.js 7.0,优化WebXR,新增Vision Pro支持

微软的Babylon js是一款基于JavaScript的3D图形渲染引擎,可在HTML5浏览器中运行,并能用于构建AR/VR体验。最新发布的Babylon js 7.0增加了对WebXR的优化,并新增了对苹果的Vision Pro的支持。在AR/VR体验开发方面,Babylon js 7.0主要优化了WebXR,并且新增了对Apple Vision Pro的支持。对于WebXR,Babylon js 7.0增加了全屏GUI、可触摸UI元素、世界规模、抗锯齿多视图等功能。而对于苹果的Apple Vision Pro,Babylon js 7.0增加了全面支持,让苹果粉丝可以通过网络体验沉浸式世界。其他主要功能包括Node Geometry几何节点、Global Illumination全局光照、Gaussian Splat Rendering高斯泼溅渲染和Ragdoll Physics布娃娃物理系统的支持。了解更多关于Babylon js的信息,请访问GitHub和项目官网。
微软发布Babylon.js 7.0,优化WebXR,新增Vision Pro支持

亲身体验:苹果为Vision Pro推出了升级版人物形象,实现真实面对面的对话

今天,苹果在Vision Pro上发布了“空间人设”公测版。这是一款全新升级的头像系统,能够实现虚拟人物的真实的实时头像系统。通过Vision Pro的一系列传感器,用户可以扫描他们的面部,进入一个看起来和移动起来都像用户本人的数字身份。而现在,Personas头像系统在VisionOS的最新测试版中升级为“空间人设”。 以前的版本中,Personas头像被限制在一个框架内,虽然有时可能感觉像面对面的交流,但实际上并不能共享空间,也无法靠近对方。而通过Spatial Personas,每个人的头像在共享空间中呈现,不再需要框架,让用户感觉真的与对方站在一起,可以看到对方靠近自己的步伐。 Spatial Personas是可选择的,使用默认方式进行FaceTime通话时仍然是显示头像的版本,需要点击FaceTime菜单上的按钮切换到Spatial Personas。 除了聊天,Spatial Personas还支持在FaceTime通话中使用SharePlay功能,一起观看电影和玩游戏。 这个更新让用户感觉更加亲密,同时也给了用户更多选择,可以根据不同需求使用不同的模式。空间人设是苹果头像系统的重要升级,可以实现面对面通话时的自由状态。在通话过程中,其他人会收到加入应用程序并加载到白板前面的邀请,所有人都能同时看到放在白板上的内容,并实时观看新增的图片或注释。任何人都可以接近白板并与其互动。 另外,在通过Apple TV观看共享电影时使用空间人设,可以营造出坐在同一张沙发上的感觉,与视频旁边漂浮的面部窗口有很大不同。 使用空间人设可以实时传输许多平面应用程序给通话中的所有人,但对于三维或交互式内容,需要开发人员特别支持。 此外,苹果还考虑了其他细节,如迁移功能,可以根据个人的位置将共享空间向个人靠近或远离。此外,当两个人在虚拟空间中靠得太近时,它们会暂时变成漂浮的联系人照片,以避免骚扰或恶作剧。 最后,人们可以同时使用多种格式参与FaceTime通话,包括iPhone、Android平板电脑、普通人设和空间人设。此外,对于Vision Pro原生应用程序来说,苹果将向iPhone用户发送不支持通知。 此外,苹果表示整个Persona系统仍处于测试阶段,可能会有更多的改进。

2024年04月01日Quest/Rift/Steam 促销App汇总

Meta Quest、Meta Rift和Steam平台今天更新了最新的促销VR App。 Rift Store和Steam是目前主流的PC VR内容平台,而Meta Quest则是国外主流的一体式6DoF移动VR平台。Steam平台的促销包括了一些VR App,但具体名单没有提供。
2024年04月01日Quest/Rift/Steam 促销App汇总

ARMeta将于4月份为Ray Ban智能眼镜添加AI功能

Meta的Ray Ban智能眼镜将在4月份推出AI集成功能,能够识别周围环境中的品牌、宠物和语言信息,并转换为增强现实数据。这款眼镜支持多语言识别,但在识别较远物体和少见水果方面存在困难。自去年12月起,其多模态AI功能已向开发者开放,用户可以通过语音激活智能助手。Meta计划在4月进行更广泛推广。
ARMeta将于4月份为Ray Ban智能眼镜添加AI功能