Insider Insider

8th Wall发布WebAR开发生成式AI工具

Niantic旗下的WebAR开发商8th Wall宣布与Inworld AI和OpenAI合作,引入了两个新的生成式人工智能开发工具。其中,Inworld AI的集成模块允许开发者在AR项目中添加交互式AI驱动角色,而OpenAI的模块则能为用户添加ChatGPT和DALL-E,从而在AR世界中轻松生成项目。通过这些新的工具,开发者可以更容易地构建AR体验,并创造出更有创意和个性化的WebAR体验。 Inworld AI是一项强大的GenAI技术,可以为WebAR体验添加逼真的AI驱动角色。这意味着每次与AI角色的对话都可以是不同的,从而提供更真实和交互性的体验。开发者只需将相关角色纳入到8th Wall体验中,无需复杂的服务器配置或令牌认证工作。 另外,8th Wall还引入了OpenAI的DALL-E和ChatGPT,利用它们的强大功能进行图像生成和人工智能文本聊天。开发者可以使用DALL-E根据文本提示创建详细和有创意的图像,或使用ChatGPT通过理解和响应用户输入来创建个性化和交互式的WebAR体验。 8th Wall表示,通过将生成式人工智能集成到增强现实中,用户不再是被动地消费内容,而是积极地创造内容,并可以使用想象力塑造自己的体验。
8th Wall发布WebAR开发生成式AI工具

微软AR/VR专利提出利用波导组合器来校准左右眼图像对齐

头显设备在显示VR内容和/或AR内容时,可以使用投射包含用户左眼和右眼独立图像的立体图像对。然而,如果单独的图像投影仪之间不对齐,就会导致立体图像对的不对齐,影响用户体验。为解决这个问题,可以使用高度刚性的框架来安装图像投影仪,以保持它们之间的对齐。另一种解决方案是使用波导组合器来校准显示器。校准系统包括波导组合器和轴视传感器,轴视传感器可以检测沿光路传输的校准图像。控制器可以根据轴视传感器的输出调整立体图像的对准。这些解决方案可以帮助维持立体图像对之间的对齐。此外,校准图像和立体图像可以以分离的方式呈现,以防止用户注意到校准图像。此外,校准系统可以根据头显设备的形状自适应,并通过控制器定期更新对准以保持稳定的相对角度。
微软AR/VR专利提出利用波导组合器来校准左右眼图像对齐

高通专利为AR/VR面部追踪提出可调节升降摄像头设计

XR设备的摄像头可以进行面部追踪、嘴部追踪、眼动追踪和眉毛追踪等。然而,由于技术越来越紧凑,XR设备变得越来越薄、越来越小,这可能导致特定组件难以集成。高通提出了一项名为“可调节摄像头系统”的专利申请,来解决这个问题。该系统采用类似于智能手机的升降摄像头设计,当需要进行嘴部追踪时,摄像头会从头显中弹出并下沉至适当的位置,然后进行追踪;当不需要追踪时,摄像头会回升并缩回至头显内部。摄像头结构可以包括透镜、摄像头传感器、发射器、附加传感器和/或设备等组件。这种可调节摄像头系统可以使摄像头的位置与用户的嘴部保持一致,从而实现精确的追踪。此外,该系统还可以减轻XR设备的计算负荷和热负荷。高通的这项专利申请于2022年2月提交,目前已公布。
高通专利为AR/VR面部追踪提出可调节升降摄像头设计

体验简评:Meta Flamera光场技术实现无重投影VR透视

Meta最近展示了他们的原型头戴式设备Flamera,该设备采用光场技术实现无需重投影的虚拟现实透视效果。通过这种技术,可以解决重投影方法导致的视觉扭曲和伪影问题。Flamera在Siggraph 2023展会上引起了广泛关注,并荣获最佳展示奖。该设备采用了独特的透镜设计,通过前置摄像头提供用户周围物理世界的视图,以解决当前混合现实头戴式设备中透视问题。此外,Flamera还配备了红色发光的虫眼设计,与其他产品有所区别。Meta表示,Flamera是一个原型设备,但图像质量和分辨率给人留下深刻印象。然而,该设备的视场有限,景深不连续,色彩质量较差,分辨率较低。总的来说,Flamera为透视虚拟现实提供了一种新的方向,对于未来的混合现实产品发展也产生了期待。
体验简评:Meta Flamera光场技术实现无重投影VR透视

Meta专利提出光路校正透镜组件,校正实际光路与目标光路偏差

元公司提交了一项名为“包含路径校正装置的透镜组件”的专利申请。该透镜组件用于校正实际光路和目标光路之间的偏差。透镜组件可以包括路径折叠透镜组件,通过折叠从显示元件到出瞳的光路以增加光路的长度。在图像光到达视窗区域之前,它可以在多个光学元件之间多次传输和反射,从而折叠光路两次或更多次。透镜组件的部分可以称为第一和第二路径折叠段。透镜组件还可以包括路径校正装置,例如液晶装置和波片,以实现空间变化相位配置,从而纠正光路的偏差。通过传感器测量的对准参数与预定参考参数进行比较,控制器可以确定透镜组件中的不对准,并相应地控制路径校正装置的操作。这种技术可以减轻不对准对图像质量的影响。该专利申请于2022年提交,并于近期公布。
Meta专利提出光路校正透镜组件,校正实际光路与目标光路偏差

Meta发布Quest开发工具MQDH v3.8

Meta Quest Developer Hub(MQDH)是一个工具集,旨在帮助Quest开发者更轻松地构建VR内容。除了为开发者提供简单的文件管理方式之外,它还提供了对Meta各种VR SDK的访问,并包括分析和优化VR应用程序的工具。最近,MQDH团队发布了v3.8版本,其中包括从Release Channel下载OBB文件的功能,完全控制callstack sampling的设置,以及将Guardian设置名称更改为Boundary等关键改进和错误修复。新版本还增加了应用分发的搜索栏,方便开发者查找和浏览组织的应用程序。错误修复方面,修复了在MacOS上将OBB build文件安装到头显的问题,以及Performance Analyzer不显示Fixed GPU Utilization trace的问题,以及应用分发标签不加载/崩溃的问题。此外,MQDH还进行了其他一些变化。更多关于MQDH的信息可在官方页面上获得。
Meta发布Quest开发工具MQDH v3.8

苹果专利为自动驾驶汽车构思各种AR游戏娱乐活动

汽车制造商正在积极研发将增强现实(AR)技术应用于汽车中。苹果一直在探索这方面的技术,并已申请了多项相关专利。最近,美国专利商标局公布了一项名为“Visual content overlay system”的苹果发明专利。该系统可以在汽车透明挡风玻璃上叠加各种数字元素,并可模糊和替换其他对象视图,以提高驾驶员的态势感知能力,增加行驶效率,增加乘车趣味,并降低车辆偏离车道的风险。此外,苹果构思的AR系统还可用于自动驾驶汽车,并为乘员提供基于AR的娱乐活动,如游戏。专利中描述了系统可以根据乘员的个人数据和环境条件选择性地生成AR视觉内容叠加,并可以根据乘员的经验水平和压力水平调整内容的显示。此外,系统还可以模拟环境对象,如警告乘员周围的区域,并提供基于AR的娱乐活动。
苹果专利为自动驾驶汽车构思各种AR游戏娱乐活动