Insider Insider

微软AR/VR专利分享基于优化的深度学习参数模型拟合

Landmark检测是一项计算机视觉任务,用于在图像和视频中检测和定位人脸或身体的关键点。然而,由于姿势和遮挡等因素的影响,Landmark检测具有挑战性。为了改善AR和VR场景的沉浸感,需要将参数模型准确、鲁棒和快速地拟合到稀疏的输入信号中。传统的优化方法可以紧密地拟合参数模型,但容易陷入局部最小值。因此,一种常用的方法是将深度学习和经典优化方法结合起来。微软的专利申请中提出了一种使用深度学习和经典数值优化相结合的优化方法。该方法通过迭代机器学习求解器,结合Levenberg-Marquardt和Adam算法的特性,实现了鲁棒性和收敛速度,并能够处理具有挑战性的条件。学习优化是一个将优化视为学习问题的领域,旨在创建能够学习利用问题结构的模型,从而提高能量最小化的效率。该方法在图像去噪、立体声深度估计、人脸对齐和对象重建等方面有广泛应用。
微软AR/VR专利分享基于优化的深度学习参数模型拟合

苹果Apple TV 列出了一系列支持Vision Pro的3D观影

根据消息,苹果确认其visionOS将支持用户通过虚拟巨屏播放3D电影,并允许用户选择真实房间或虚拟环境作为背景。最近,经重新设计的tvOS 17.2的Apple TV应用程序出现了一系列支持3D选项的电影,这些电影的图标形状与苹果官网Vision Pro相关资源的简略图标相似。网站FlatpanelsHD列出了19部支持3D的电影,包括《怪物史莱克》、《功夫熊猫3》、《小黄人大眼萌2:格鲁的崛起》和《环太平洋:雷霆再起》等。虽然这种巨幕影院对于虚拟现实(VR)社区来说并不陌生,目前存在一些专注于沉浸式观影的应用内容,如Bigscreen。然而,苹果Vision Pro存在舒适度方面的问题,早期测试者认为其过重,并且缺乏合适的头带选择。不过,苹果正在积极解决这个问题,并有望提供可选的头带选择。此外,根据之前的招聘启事,苹果似乎正在整合Vision Pro和Apple TV,使这两款设备可以互相操作。
苹果Apple TV 列出了一系列支持Vision Pro的3D观影

Magic Leap 2声称手部追踪精度提高了六倍,延迟减少10%

Magic Leap最新发布了Magic Leap 2的重大更新版本v1.4.0,该版本改进了设备的核心功能。手部追踪精度提高了六倍,延迟减少了10%,使得设备更加方便和实用。同时,头显的位置追踪功能也得到了改进,精度平均提高了63%。这些改进归功于实时校准方面的改进,有望对其他依赖头显摄像头追踪的系统产生连带影响。另外,更新还对虹膜ID进行了优化,新版本允许用户通过眼睛扫描解锁头显,并可以用于身份验证和登录第三方应用。此外,Magic Leap还改善了设备的投屏和录屏能力,并增加了一系列针对开发者的改进,包括改进调试功能和引入调试和分析工具。开发者将能够在用户构建的安全设备上自助调试应用程序并运行分析工具,从而更快地开发更可靠、更有价值和更复杂的AR解决方案。完整的版本说明可以访问Magic Leap的官方网站。
Magic Leap 2声称手部追踪精度提高了六倍,延迟减少10%

热门元宇宙社交平台VRChat登陆PICO Store

根据映维网(Nweon)的报道,热门元宇宙社交平台VRChat将登陆PICO Store,并已经在PICO 4上正式支持免费下载。VRChat是一个多人元宇宙社交平台,最初于2017年推出,用户可以在其中创建虚拟角色并进行社交互动,例如聊天、上课、看电影和玩游戏等。该应用最初专注于虚拟现实,但后来扩展到PC端、移动端和主机端,通过跨平台支持、丰富的节目活动、逼真的体验以及人性化的界面和操作等元素吸引了大量用户。尽管官方未公布具体的用户数量,但据Steam Chart统计,仅在Steam平台上的平均同时在线用户就超过2万人。随着VRChat登陆PICO Store,这将大大丰富PICO用户的社交选择,并为他们提供一系列有趣的元宇宙社交活动。
热门元宇宙社交平台VRChat登陆PICO Store

Quest全新Casting 2.0允许通过USB 3.0传输影像到PC端

根据映维网的报道,Quest Casting 2.0将支持通过USB 3.0将未裁剪的宽屏影像传输到PC。此前,Quest头显的Casting投屏功能允许用户将内容无线传输到电视、智能手机和网络浏览器。然而,Casting 2.0 Beta新增了通过USB 3.0传输影像的选项。此功能解决了以往投屏时选择全视图1:1宽高比或裁剪的16:9视图会排除虚拟双手和特写对象顶部的问题。Casting 2.0 Beta的Cinematic模式能够在透镜可见范围之外将渲染视场水平扩展,从而捕获完整的16:9图像,而不会裁剪顶部或底部。需要注意的是,Casting 2.0 Beta目前仅支持USB 3.0,不兼容Wi-Fi或普通的USB 2.0。
Quest全新Casting 2.0允许通过USB 3.0传输影像到PC端

多人VR战术射击游戏《X8》登陆Steam和Quest,免费开玩

备受期待的多人VR战术英雄射击游戏《X8》已正式登陆Steam和MetaQuest平台,并且可以免费玩。该游戏在MetaQuest平台上获得了约400个用户评分的近乎五星满分好评,而在Steam平台上则获得了81%的好评。 《X8》的故事背景是一场神秘的数字灾难,使得来自不同FPS系列的英雄穿越到同一个空间。玩家的任务是在多个地图上进行竞争,帮助恢复英雄们的原始世界并铺设回家之路。 游戏开发团队提供了一系列具有不同能力和物品的英雄,并提供最多5对5的射击竞技玩法。玩家可以获得数十种能力,并在每一轮战斗开始前定制每个英雄的装备,所以需要根据自己的技巧、场景和队友来选择合适的英雄。 在游戏中,玩家将被平等分为攻击方和防御方。攻击方需要放置一个名为“The Extrapolator”的引爆装置,并抵挡防守方的攻击;防御方的任务是破坏攻击方的部署或者在30秒内关闭“The Extrapolator”的引爆。 开发商Thirdverse正在研究更多游戏模式,并会根据测试情况对《X8》进行优化和改进。
多人VR战术射击游戏《X8》登陆Steam和Quest,免费开玩

苹果分享Vision Pro ToB开发者案例:JigSpace和PTC

苹果近日发布了对两家公司(JigSpace和PTC)的官方采访,展示了它们如何进入Apple Vision Pro的世界。其中,JigSpace与Alfa Romeo合作开发了F1赛车的模型,并通过Apple Vision Pro实现了房间中展示实物大小的赛车的场景,实现了超乎想象的细节和互动。JigSpace的首席技术官纽玛·伯顿表示,Apple Vision Pro让他们能够以前所未有的方式进行创意实现和协作,并提供了强大的视觉效果和全新的协作方式。另一家公司PTC则将工程和制造流程的组成元素整合在一起,让人们能够实时交互并轻松实现协作。PTC的AR/VR首席技术官施蒂凡·普里多斯吉表示,Apple Vision Pro为他们提供了许多惊喜和新的体验,让用户能够在数字对象周围自由移动并与其他人进行实时交互。这些官方采访展示了Apple Vision Pro带来的无限可能性,让企业能够探索和实现前所未有的想法。
苹果分享Vision Pro ToB开发者案例:JigSpace和PTC

据报道,Meta据说将回到中国,率先推出更便宜的VR头显。

据《华尔街日报》报道,Meta计划通过一款价格更低的VR头显重返中国市场。Meta与中国视频游戏公司腾讯达成了初步协议,腾讯将成为Meta头显的中国独家销售商。双方经过约一年的谈判达成了交易,预计该头显将于2024年底开始销售。尽管报道没有透露具体价格,但中国版头显可能会使用比Quest 3更便宜的镜片,全球其他市场也可能有该版本的销售。交易计划中,Meta将在设备销售中占有更大份额,而腾讯将在内容和服务收入中占有更大份额,因为头显将提供腾讯发行的游戏和应用。尽管Meta目前通过内容销售补贴VR硬件,使交易在纸面上变得不那么有吸引力,但重新进军中国市场并利用增长机会仍然具有潜力。与此同时,由于竞争对手Pico Interactive陷入困境并解雇员工,Meta似乎正趁机进军中国市场。

数据报告CINNO:2023Q3中国消费级VR销量合计10万台

2023年第三季度,中国消费级VR头显销量为10万台,同比下降28.9%,环比下降35.5%。销量排名前五的品牌是PICO、大朋VR、奇遇VR、Goovis和HTC VIVE。销售额也下降,环比减少28.8%。报告指出,VR产品的平均售价上升至3591元,2000-4000元价格段的产品占60%,而5000元以上的高端VR头显市场份额在持续增长,显示部分消费者对高品质VR的强烈需求。
数据报告CINNO:2023Q3中国消费级VR销量合计10万台