Nweon

nweon 文章

谷歌用MediaPipe实现手机高效实时3D对象检测

谷歌发布了用于日常对象的实时3D对象检测管道MediaPipe Objectron。该工具可以通过训练的机器学习模型检测2D图像中的对象,并估计其姿态和大小。为了解决缺乏大量面向对象的ground truth 3D注释的数据集的问题,谷歌团队利用移动增强现实会话数据开发了一种新的数据管道,并构建了一个新颖的注释工具,允许快速标记对象的3D边界框。为了提高预测的精度,谷歌提出了一种名为AR Synthetic Data Generation的方法,可以将虚拟对象放置到具有AR会话数据的场景中,生成物理可能的位置,并与场景匹配的照明。谷歌构建了一个单阶段模型来预测对象的姿态和物理尺寸,通过检测和回归共同完成任务。为了减少每帧运行网络的需求,谷歌采用了检测+跟踪框架,在移动设备上实时进行,并保持预测的时间一致性。谷歌计划在MediaPipe中发布机器学习管道,以鼓励开发者和研究人员进行实验和原型设计。
谷歌用MediaPipe实现手机高效实时3D对象检测

Facebook为希尔顿提供VR培训解决方案,涉及全球6000多家酒店和度假村

希尔顿集团与学习解决方案开发商SweetRush合作推出了名为Hotel Immersion的虚拟现实(VR)培训计划,旨在帮助员工更好地理解客房服务员的角色,并提高他们的同理心。通过使用VR技术,团队成员可以在虚拟环境中体验客房和前台员工等服务,并进行实际操作任务的练习。希尔顿集团预计,这种虚拟培训可以将传统培训时间从4个小时缩短至20分钟。一项调查显示,75%的受访者表示VR帮助他们改善了问题解决能力和客户服务技能,并有94%的受访者表示它增强了团队成员的同理心。公司认为,提供高度真实感的环境对培训至关重要。尽管只有少数员工具有酒店从业经验,但通过VR培训,希尔顿集团可以帮助新员工快速掌握工作,并让员工在遇到困难时能够更好地理解客人的感受。希尔顿集团的这一VR培训计划已经在麦克莱恩泰森斯科纳希尔顿酒店试点,取得了积极的效果。
Facebook为希尔顿提供VR培训解决方案,涉及全球6000多家酒店和度假村

2020年9月15日开始,Gear VR全面终止新发行服务

Oculus宣布将在2020年9月15日起停止支持Gear VR开发,并将停止接受新的Gear VR内容的发行申请。这意味着开发者将无法在Developer Dashboard上创建新的Gear VR应用,也无法将应用标记为与Gear VR兼容。此外,Oculus开发者支持也将不再为Gear VR开发问题提供支持。然而,在此日期之后,现有的Gear VR仍然可以进行更新,并且用户可以继续通过Gear VR Store访问和下载应用。 Oculus表示,自从与三星合作推出Gear VR以来,它成为了世界各地用户首次体验虚拟现实的入门设备,并为虚拟现实技术的持续增长做出了重要贡献。Oculus对那些在Gear VR平台上构建、修改和发布应用程序的开发者表示感谢,认为他们在VR技术的开拓中发挥了重要作用。
2020年9月15日开始,Gear VR全面终止新发行服务

BBC AR体验《Micro Kingdoms》允许你探索昆虫蜘蛛网世界

BBC Studios与游戏开发商Preloaded合作的一款名为《BBC Earth - Micro Kingdoms: Senses for Magic Leap》的空间计算体验作品已经正式登陆Magic Leap One平台。这款作品让玩家能够沉浸在昆虫和蜘蛛网的世界中,并通过Magic Leap World应用商店免费下载。作品的旁白由著名演员斯蒂芬·弗雷进行配音。用户进入体验后,可以与虚拟的巴西游走蛛和中美洲热带玉林的虚拟切叶蚁进行交互。一位体验者发现,与其他Magic Leap应用相比,该作品的设置和追踪要求更苛刻,需要特定的室内环境才能正常运行。预计需要较大的空间才能完全感受到体验的魅力。与此同时,开发者需要关注较小的空间设置,以满足普通用户的需求。虽然有人认为某些高端Magic Leap应用更注重给用户以深刻印象而非实际用例,但整体体验经过细致打磨,旨在向主流公众介绍有关自然界的信息。
BBC AR体验《Micro Kingdoms》允许你探索昆虫蜘蛛网世界

Magic Leap想出售公司,欲100亿美元卖给Facebook

据知情人士透露,美国混合现实初创公司Magic Leap正在考虑出售公司等选项,可能获得超过100亿美元的资金注入。该公司正与顾问商讨一系列战略选择,包括建立合作伙伴关系或在上市之前出售大量股份。Magic Leap目前正在评估Facebook和强生等大型科技公司的潜在兴趣,但与Facebook的首次会面未取得进展,因为VR产品关税上涨和疫情给Facebook带来了压力。Magic Leap从专注于普通用户市场转向医疗保健和工业市场。该公司在首席执行官罗尼·阿伯维茨的带领下完成了约26亿美元的融资,估值在60亿至80亿美元之间。其他著名投资者包括NTT Docomo、沙特阿拉伯主权基金PIF、淡马锡控股和AT&T等。Magic Leap表示目前正在研发使用空间计算技术的增强现实设备,用于为消费者提供高端体验和远程工作工具。
Magic Leap想出售公司,欲100亿美元卖给Facebook

2020年03月11日美国专利局新批准AR/VR专利报告

美国专利及商标局公布了一批新的AR/VR专利,总共23篇。其中包括奥库拉斯(Oculus)的用于渲染虚拟化身的系统和方法的专利,魔法跳跃(Magic Leap)关于虚拟/增强现实系统中偏振保持光纤的专利等。此外,专利还涉及到Facebook的用于波导显示的小形状参数、大视场、大视窗等专利,以及微软、高通、索尼和英特尔等公司的相关专利。这些专利涉及到的技术领域包括图像渲染、头戴显示器、声音定位、360度视频、深度感知等。这些专利的公布展示了AR/VR领域的技术创新和进展。
2020年03月11日美国专利局新批准AR/VR专利报告

将VR虚拟对象锚定到现实世界,Varjo推出实时色度键控和标记追踪

沉浸式头显厂商Varjo发布了XR-1开发者版的实时色度键控和标记追踪功能,作为抢先体验功能。色度键控功能可以通过对绿幕技术的实时控制,将虚拟内容与物理世界对齐。标记追踪功能可以通过可视标记将虚拟对象锚定到现实世界,实现虚拟世界和现实世界的无缝集成,以及与虚拟内容的交互。这两个功能的引入改变了企业在沉浸式环境下进行培训、设计和研究的方式。Varjo表示,XR-1开发者版已成为专业用户最需要的混合现实产品之一。色度键控功能对于精确对齐和创建绿幕效果非常有用,而标记追踪功能可以让虚拟对象准确显示在目标环境中。全球航空培训公司Flight Safety International是Varjo的合作伙伴之一,表示对色度键控功能表示期待,并以此为基础探索应用于各种模拟机会的功能。XR-1开发者版现有用户可以使用色度键控和标记追踪功能,并将这些新功能展示在DSET(国防模拟教育和培训)贸易展览会上。
将VR虚拟对象锚定到现实世界,Varjo推出实时色度键控和标记追踪

无需绿幕,MR视频录制LIV Beta版开始支持Quest

LIV是一款流行的录制混合现实视频的软件,可以通过绿幕技术实现录制混合现实内容。然而,对于普通消费者来说,他们可能没有足够的空间来设置绿幕。因此,LIV推出了一个Beta版本,使得不需要绿幕即可录制MR游戏视频,适用于Oculus Quest头显用户。录制过程可以通过Kinect摄像头或iPhone XR智能手机实现。LIV的背景移除技术可以删除玩家的背景,并用正在玩的VR游戏替代。然而,该Beta版本仍然存在问题,开发者需要解决一系列问题,并且需要使用LIV PC应用程序。LIV团队表示他们正在努力改进应用的设置过程和设计,以降低入门设置的难度,并提供正确的信息。LIV是一款免费下载的工具,支持大多数主流VR头显和热门VR内容。
无需绿幕,MR视频录制LIV Beta版开始支持Quest

Nreal将于2020 Q4发布一体式企业AR头显

根据VentureBeat的报道,增强现实公司Nreal正在开发一款面向企业市场的一体机版本,该版本基于Nreal Light头显构建,提供无需智能手机接入的无线完整平台。该一体机版本相比消费者模型更重,并且外观更类似于头盔而非太阳眼镜。该版本配备了更明显的前置摄像头,以实现头显对手势的准确检测。据报道,一体机版本的价格将高于Nreal Light开发者套件的1199美元,但与竞争对手相比仍具有竞争力。 Nreal首席执行官徐驰表示,一体机版本是基于开发者的需求而开发的,并且将作为补充性设备提供高性能、安全和可靠的平台,同时不受形状参数的严格限制。 Nreal表示,一体机版本的应用场景包括汽车修理厂,通过佩戴Light的客户可以看到相关的服务,而穿戴一体机版本的机械工人可以通过手势实时操作现有零件和替换零件,展示具体的维护过程。 一体机版本将于2020年第四季度发布,目前尚未确定所采用的处理器。
Nreal将于2020 Q4发布一体式企业AR头显

代号Gobi,苹果为 iOS14 开发全新AR App,正测试与星巴克服务集成

据报道,苹果正在开发一个代号为Gobi的全新增强现实(AR)应用程序,该应用程序将通过基于移动设备的AR技术来为用户提供关于周围环境的信息。该应用程序被认为将是苹果AR头显项目的一部分。根据代码挖掘,苹果目前正在测试与Apple Store和星巴克的集成,用户可以利用移动设备查看有关展示产品的数字增强信息,获取价格并进行比较。iPhone或iPad将根据二维码或iBeacons的标签来确定具体的AR体验。第三方公司可以通过集成SDK或API来提供自己的标签标识符,并加载自定义资产和场景。目前尚不清楚该API是否免费,或者苹果是否将通过授权系统向特定合作伙伴提供该API。
代号Gobi,苹果为 iOS14 开发全新AR App,正测试与星巴克服务集成