Insider Insider

Looking Glass利用英伟达ACE和Maxine 3D实现全息视频通话

谷歌在今年的I/O大会上推出了光场显示项目Project Starline,它利用光场技术打造出一种让远程视频聊天更加真实的体验。此外,英伟达的Maxine 3D与全息技术公司Looking Glass也展示了类似的远程通话平台。Maxine 3D和NVIDIA ACE可以为开发者和应用程序提供逼真的数字人类体验,支持实时视频会议。NVIDIA Maxine推动了在虚拟事件空间和视频会议等沉浸式环境中采用虚拟远程渲染技术,通过将标准2D视频转换为动态3D化身,重新定义用户体验。合作伙伴Looking Glass与NVIDIA Research合作,使用全息3D显示器创建创新的视频会议平台。Maxine 3D应用人工智能、神经重建和实时渲染等技术,可以从单个2D图像中重建详细的3D视角。此外,Maxine还提供了Eye Contact NIM和Audio2Face-2D等功能,以增强虚拟会议的参与度和体验。NVIDIA Maxine是一个全面的平台,旨在帮助开发者创造下一代远程渲染和数字人类创作应用程序。
Looking Glass利用英伟达ACE和Maxine 3D实现全息视频通话

英伟达亮相Avatar参考设计NVIDIA ACE和AI数字人增强技术Maxine

英伟达(NVIDIA)展示了可以与人类交流的交互式数字人物James詹姆斯,并预览了NVIDIA Maxine AI平台的最新进展。James詹姆斯使用了NVIDIA ACE参考设计来创建自定义的超现实主义交互式Avatar,并可通过网站与用户进行实时对话。开发者可以使用Maxine和NVIDIA ACE数字人机技术提高用户与数字界面交互的体验。一些企业如HTC VIVE和Looking Glass已经在使用Maxine和ACE来提供身临其境的用户交互体验。此外,HTC VIVE集成了NVIDIA NIM微服务和Audio2Face-3D技术来实现动态面部动画和口型同步,以提供更自然和身临其境的用户交互。Looking Glass则利用Maxine的3D AI功能和简单的摄像头设置,生成用户面部的实时全息图像。
英伟达亮相Avatar参考设计NVIDIA ACE和AI数字人增强技术Maxine

《异形战队:侵入》首个游戏实机预告展示了潜行动作,预计于2024年假期上市。

Survios公布首款《异形:背叛入侵》游戏实机预告,展示了游戏中的异形敌人、武器和场景。该游戏由VR工作室Survios开发,旨在提供一个充满惊险和恐怖的全新故事情节。主角祖拉·亨德里克斯是一个无畏的前殖民海军,转变成为终极的异形猎人,她将在未知星球普尔丹展开冒险,伴随她的是有意识的人工智能伙伴戴维斯-01。在游戏中,祖拉必须前往寄生异形满布的占星者工场解决方案黑网站设施的核心,并在与最狡猾的异形生物的致命袭击中求生。游戏将于2024年假日季发布,面向PSVR 2、Meta Quest 3和PC VR。值得注意的是,Survios表示Meta版本仅包括Quest 3,不包括Quest 2或Quest Pro,成为首批放弃旧版本Quest头显的重要作品之一。

Meta宣布一系列Quest开发工具扩展了对Mac的支持

Meta近日宣布扩展了对Mac的支持,使Unity开发者能够更轻松地在Mac上使用关键工具,无需在不同平台之间来回切换。Meta Quest Developer Hub(MQDH)是一个集中的视图,提供了头显设置、应用性能指标和可用工具等功能。扩展Mac支持后,开发者可以更方便地进行开发、监控性能、下载其他包、测试和发布应用程序。此外,Meta XR Simulator是一个轻量级的OpenXR运行时,也支持Mac,开发者可以使用它来迭代和测试项目,模拟输入和裸手交互,以及进行自动化测试设置。针对性能优化,开发者可以利用RenderDoc Meta Fork和其他工具来检查应用程序的每帧绘制调用、调试图形并确保性能一致。而Meta Haptic Studio则允许开发者设计和试听触觉剪辑,并将其集成到应用程序中,以增强VR和MR的沉浸感。扩展对Mac的支持有助于开发者更快地构建应用、优化性能并推动创新。Meta表示将继续增加对Mac的支持,以提供更多工具来帮助开发者释放创造力。
Meta宣布一系列Quest开发工具扩展了对Mac的支持

Meta Quest v68系统更新开始推送,提升性能、支持自适应亮度等

Meta Quest v68即将推送,新版本带来了多项功能和性能优化。其中,布局实用程序Layout可以帮助用户在物理空间中可视化不同的家居项目,帮助用户确定家具尺寸是否适合。此外,光学性能方面,新版本增加了内容自适应亮度功能,可以降低较暗场景的对比度,提高显示体验。屏幕截图分辨率也从1440×1440提升到2160×2160。虚拟键盘方面,Meta对浮动虚拟键盘进行了三个主要改进:录音时的音频平衡调整、电量不足警报和云备份管理。此外,v68还新增了头显内Touch控制器配对功能。
Meta Quest v68系统更新开始推送,提升性能、支持自适应亮度等

苹果开始推送visionOS 1.3正式版

苹果最近推送了visionOS 1.3的正式版,并没有提供具体的版本说明。这是visionOS操作系统的第三个重大更新,在前一个版本1.2发布一个多月后推出。对于Apple Vision Pro的用户,可以通过在头显上选择“设置”、“常规”和“软件更新”来安装新系统。安装期间需要摘下Apple Vision Pro头显,而Eyesight显示器将提供一个进度条。visionOS 1.3更新没有新增功能,但修复了一系列错误并进行了安全改进。值得一提的是,苹果将很快从visionOS 1过渡到visionOS 2。
苹果开始推送visionOS 1.3正式版

英伟达宣布将生成式AI引入OpenUSD工作流程

NVIDIA recently released new AI and development tools based on OpenUSD and NVIDIA Omniverse. These advancements will extend OpenUSD into the fields of robotics, industrial design, and engineering, allowing developers to quickly build highly accurate virtual worlds for the next phase of AI development. OpenUSD is an open-source framework and data interchange format for 3D and simulation workflows, enabling developers to create highly accurate AI-supported virtual worlds. The new development tools include NVIDIA NIM microservices and workflow guides for OpenUSD language, materials, spatial intelligence, and physics AI; OpenUSD Exchange SDK and USD Connector for industry-specific data support; and NVIDIA Omniverse Kit SDK and developer tools for building and deploying OpenUSD-based applications from scratch. The NVIDIA NIM microservices for OpenUSD language, materials, spatial intelligence, and physics AI bring generative AI into the OpenUSD workflow and expand its applications in manufacturing, automotive, and robotics. Additionally, NVIDIA is working on other NIM microservices for OpenUSD development, such as USD Layout NIM and USD SmartMaterial NIM. The Omniverse Kit SDK provides new tools and enhancements for building OpenUSD native applications from scratch, and the OpenUSD Exchange SDK allows developers to connect industry-specific data to OpenUSD. NVIDIA is also developing connectors to facilitate the exchange of industry-specific data with OpenUSD, such as for URDF. Furthermore, NVIDIA has released developer tools and APIs, such as NVIDIA GDN, to stream large-scale OpenUSD scenes to Apple Vision Pro for immersive factory planning applications.
英伟达宣布将生成式AI引入OpenUSD工作流程

Meta AR/VR专利分享为腕带、手表设备增加天线

AR/VR设备制造商Meta正在积极研发用于AR/VR的腕带设备。根据一份由美国专利商标局公布的专利申请,Meta介绍了相关的技术方面,包括天线。由于设备越来越小,可用空间受到限制,不同类型的天线可能会受到约束。同时,由于尺寸小,给定天线可实现的带宽量可能有限。此外,由于智能手表等移动设备常采用金属外壳设计,将多种不同类型的天线放置在不同位置以接收足够的操作信号强度可能会很复杂。Meta提到一种实施例中,可以通过添加辐射元件来增加天线的天线效率,并提供系统的散热。模拟表明,这种应用可以将天线效率增加4-6 dB。Meta还指出,该腕带设备可与AR系统一起使用,其传感器可用于增强AR应用程序。腕带还可以包括测量用户生物特征的传感器,通过神经肌肉传感器感知的信号可以进行处理,并为用户提供与AR环境中物理对象和/或虚拟对象的增强交互。

苹果AR/VR专利分享可视化多模态输入,完善头部控制输入

苹果公司提交了一项用于可视化多模态输入的专利申请。该方法包括在XR环境中显示用户界面元素,并根据来自输入设备的输入数据确定注视方向。系统还显示与用户界面元素关联的焦点指示器的外观。通过监测用户的头部或身体姿势变化,焦点指示器的外观可以改变。这些变化可以提醒用户头部动作是否成功控制了UI元素。这个方法可以更好地实现眼部和手部的控制,并确保用户了解他们的动作是否被正确识别和执行。专利旨在改善用户在使用VR和AR设备时的交互体验。 请注意,上述信息来自于一份专利申请,尚未得到最终批准,因此并不能确认这项技术是否会在未来的产品中得到应用。

亲身体验:《进击的巨人VR》可能是一颗未经雕琢的钻石——重点在于未经雕琢

《进击的巨人VR:不可摧毁》是开发商UNIVRS推出的一款虚拟现实游戏,将热门动画《进击的巨人》搬上了VR平台。该游戏目前只是早期测试版,尽管存在一些问题,但它引入了一些有趣的机制。游戏提供了一个单一任务,玩家需要对抗巨人,切割它们的肢体,最终击倒它们。游戏使用全方位移动装置进行空中摆动和刀剑操作,体验舒适度很高,并且融入了光学界面,使用笔从任务日志中开始章节。然而,游戏的视觉效果和稳定性需要改进,还需要添加两人合作模式。对于那些热爱《进击的巨人》的超级粉丝来说,可能会有兴趣花5美元提前体验。对于普通观众来说,可以等待后续章节发布后再决定是否入场。总体来说,该游戏对于VR行业的老手UNIVRS来说,5美元的价格是相当诚实的。