Nweon

nweon 文章

美国十多所大学与Magic Leap合作,探索MR赋能教育学习

近日,Magic Leap通过一篇博文介绍了空间计算如何为学术机构创造强大的教育和学习机会生态系统。借助空间计算技术,学生可以通过与模型交互、评估影响和手术结果、整合患者数据等方式提升学习效果。Magic Leap的空间计算技术已经被许多学院和机构采用,例如卡内基·梅隆大学、南加州大学、福赛大学和布莱尔德学院等。这些学府通过将空间计算技术嵌入课程、创建新的编程课程和应用、开发课外应用以及将空间计算集成到新闻学和类似课程中,为学生提供更多实践和学习机会。同时,一些博物馆如史密森尼博物馆和发现与科学博物馆也利用Magic Leap来创造空间计算体验,吸引游客并提升创造力。Magic Leap表示,感谢各个学术机构和博物馆为促进空间学习和增强开发者能力所做的努力,这些体验将改变人们的工作方式、娱乐方式和与世界的交互方式。
美国十多所大学与Magic Leap合作,探索MR赋能教育学习

谷歌为Chrome 81增加AR功能

Chrome 81版本新增了对增强现实功能的支持,包括WebXR Device API和WebXR Hit Test API。其中,WebXR Device API最初在Chrome 79中启用,现在也支持增强现实。WebXR Hit Test API用于在真实世界中放置虚拟对象。对于已经使用这些API创建虚拟现实体验的开发者来说,增强现实的操作方式与虚拟现实相似,因为API的设计早已考虑了沉浸式体验的范围。差异仅仅在于在对象创建过程中设置和请求不同的属性。WebXR Hit Test API允许开发者通过摄像头视图与真实世界进行交互,并在特定位置放置虚拟对象。点击屏幕后,API会返回放置点的位置和方向信息。通过这个API,开发者可以在地板和墙壁上放置虚拟对象。对于不熟悉WebXR Device API的开发者,可以参考先前的文章进行学习;对于熟悉WebXR会话的开发者,可以阅读其他关于Web AR的介绍文章。
谷歌为Chrome 81增加AR功能

宏碁回应OJO取消:继续探索XR机遇并投入资源

宏碁(Acer)确认取消了10个月前发布的ConceptD OJO头显项目。之前对于取消的具体原因,宏碁并没有给出解释。但在进一步联系后,该公司表示他们并没有放弃XR市场。宏碁的发言人称,宏碁正继续探索与XR相关技术的机遇并投入资源,但没有具体的计划。微软的态度是关键,因为微软是WMR平台的关键硬件和软件的创建者和掌握者,但在过去的一两年中,微软对WMR平台的VR端不太积极,而是专注于AR端的第一方设备——HoloLens。宏碁等头显厂商由于WMR的主要利益相关者缺乏热情,很难对未来做出任何承诺,这使宏碁等合作伙伴陷入困境。宏碁的发言人补充说,他们会继续支持OJO 500的销售与服务,但避免谈及第一代宏碁MWR头显,这表明该头显项目已经停止。值得一提的是,包括宏碁在内的大多数初代WMR头显已从微软商城中消失。
宏碁回应OJO取消:继续探索XR机遇并投入资源

MRTK v2.3.0发布,为HoloLens 2增加手部物理扩展服务

混合现实工具软件Microsoft Mixed Reality Toolkit(MRTK)已经发布了2.3.0版本,该版本新增了对Unity 2019.3的新XR插件的支持,同时改善了在HoloLens 2上的手部交互体验。MRTK v2.3.0为HoloLens 2增加了手部物理扩展服务,使手部交互更加逼真。通过在手部关节上增加刚体运动学效果,可以实现更自然逼真的与虚拟对象的触碰交互,例如推动物体、弹钢琴等。此外,MRTK v2.3.0还更新了其他与交互操控相关的工具,包括实验性的非原生键盘、手部指示、捏滑块方向等。更多更新内容可以在MRTK的Github页面上找到。
MRTK v2.3.0发布,为HoloLens 2增加手部物理扩展服务

2020年02月14日美国专利局新申请AR/VR专利报告

这项专利描述了一个信息处理组件,其中包括一个决策单元,根据预定参考确定在虚拟空间中布置共享对象。这些共享对象是根据用户的感测结果生成的,用于第一用户和第二用户之间的通信。美国专利及商标局公布了一批AR/VR专利,其中包括魔术跳跃、Facebook、谷歌、索尼和微软等公司的专利。这些专利涉及到增强现实和虚拟现实领域的各个方面,包括系统和方法、图案刻蚀、机械接头、帧生成、跨现实系统、显示设备的误差校正、眼动追踪、薄膜光学器件、圆偏振器、扫描显示器等。这些专利技术的应用范围广泛,涉及到计算机网络、光学、图像处理、音频处理等领域。通过这些专利,各公司可以保护自己的技术创新,并在AR/VR市场上取得竞争优势。
2020年02月14日美国专利局新申请AR/VR专利报告

《AR Pianist》登陆苹果商店,让虚拟音乐家为你弹钢琴

AR/VR工作室Massive Technologies最近发布了一款名为《AR Pianist》的应用程序,它能够将虚拟音乐家叠加在钢琴上,让用户能够在舒适的客厅里享受钢琴音乐会的体验。该应用在2019年12月首次亮相,团队在Twitter上发布了相关视频,展示了当摄像头扫过钢琴时,虚拟钢琴家会出现在视图中的效果。这款应用引起了一些人的兴趣,但也有人对其不以为然,认为它只是一次新奇的应用。《AR Pianist》已经在苹果App Store上免费上线。 当将移动设备对准钢琴时,虚拟钢琴家会出现在视图中,并开始演奏乐曲。团队提供了一系列音乐作品,并将乐谱沿应用程序下方滚动。钢琴本身可以叠加各种图形,如标记音符、不同的皮肤等。《AR Pianist》的概念与Massive Technologies于2017年推出的《Piano 3D》非常相似,但后者更注重音乐创作,并没有叠加人物。此外,《Piano 3D》还提供了学习模式、导出编写歌曲以及完全支持MIDI等功能,而《AR Pianist》似乎暂时未包含这些功能。 Massive Technologies表示,未来的版本将提供实时反馈,利用设备的麦克风对用户的演奏技巧进行评估,并且允许更换钢琴模型。如果应用程序能进一步优化加强,它有望成为钢琴演奏者改善演奏技巧的工具。该应用的虚拟钢琴家的动作是基于真实人类的建模,团队使用十几个红外摄像头记录了著名钢琴演奏家Ossi Tanner和Tatia Kukhianidze的演奏,准确度达到了1毫米。
《AR Pianist》登陆苹果商店,让虚拟音乐家为你弹钢琴

谷歌用AI检测透明对象,实现玻璃上生成AR可视化效果

一项名为ClearGrasp的机器学习算法可以帮助光学传感器检测透明对象,并准确重建透明对象的深度。过去,光学传感器难以检测透明对象,因为它们基于假设所有表面都是朗伯(Lambertian)表面的。ClearGrasp使用深度学习和合成数据集来估计透明对象的精确三维数据,并能够推广到训练期间未见过的新对象。研究人员还建立了一个大规模的透明对象数据集,包含50000多个图像,用于训练各种2D和3D检测任务。实验证明,ClearGrasp能够以高保真度重建透明对象的深度,并成功应用于机器人抓取算法中。然而,该算法有一些局限性,如无法准确表示焦散效果。未来的研究方向是改进渲染方法,以生成物理正确的焦散和表面缺陷。研究人员希望ClearGrasp的数据集能推动透明对象感知算法的研究进一步发展。
谷歌用AI检测透明对象,实现玻璃上生成AR可视化效果

苹果为AR功能Quick Look增加“购买”选项

苹果在2018年推出了名为"Quick Look"的功能,用于在已有的应用中实现即时的增强现实(AR)体验。它允许用户通过Safari、Messages、Mail等应用浏览和查看3D模型商品,并在AR环境中进行缩放、照明和阴影等处理。最初,Quick Look功能只停留在查看商品的阶段,但现在苹果正在扩展这一功能,允许开发者增加自定义按钮,例如购买按钮,以触发Apple Pay提示或执行其他零售商期望的动作。另外,苹果最新的iOS和iPad OS开发者版本中已经加入了空间音频支持,允许3D模型发出声音,并在AR环境中随着声源的移动而相应移动。这样的增强功能将使用户在AR中购买商品的可能性大大增加,进而推动AR技术在零售领域的普及和应用。预计诸如Home Depot、Wayfair、Bang&Olufsen和1-800-Flowers等零售商将开始使用这一功能。
苹果为AR功能Quick Look增加“购买”选项

微软研究院用机器人叠加虚拟化身,探索远程办公社交

微软研究院发布了一个名为Virtual Robot Overlay for Online Meetings(VROOM)的项目演示视频。该项目允许用户通过遥控机器人访问特定地点,并通过机器人的虚拟化身在在线会议中代表自己。其他与会者可以通过头显设备感知到虚拟化身的存在。 虚拟机器人可以让远程用户在非物理现场的空间中自由探索,并在此空间中提供物理表示。然而,它们无法在本地空间中提供有说服力的远程用户表示。为了解决这个问题,微软推出了VROOM项目。 这个双向系统旨在改善基于机器人的远程社交体验。对于本地用户,增强现实界面可以显示叠加在机器人上的远程用户的真实大小化身。对于远程用户,头戴式虚拟现实界面提供沉浸式的本地空间视图。 虚拟现实系统跟踪远程用户的头部姿态和手部动作,并应用于虚拟化身。这样,本地用户可以看到远程用户的头部方向和手势,并允许远程用户通过机器人进行识别,实现自我可识别的表现。 图片来源:https://configreality-web-asset.oss-cn-shenzhen.aliyuncs.com/crnews/2d96655c626b9501c4652b7c37e0ab14.jpg
微软研究院用机器人叠加虚拟化身,探索远程办公社交

半条命VR《半衰期:爱莉克斯》3月24日发行

经过长时间的期待,《半衰期:爱莉克斯》终于确定了发行日期,将于2020年3月24日与大家见面。这款备受期待的VR游戏作品是由Valve开发的,Valve最近公布了一系列游戏截图。该游戏于2019年11月公布,并提供了一个游戏预告片,承诺将为VR玩家带来完整的游戏体验。该游戏的故事发生在《半衰期》和《半衰期2》之间,是与邪恶的外星种族联合军之间的较量。玩家在游戏中扮演爱莉克斯·凡斯,成为人类存活下去的唯一希望。游戏将支持所有Steam VR兼容头显,如Valve Index、HTC Vive、Oculus Rift、Windows VR以及通过Oculus Link接入PC的Oculus Quest。预购玩家将在3月2日开始获得福利,其中包括游戏场景的SteamVR Home定制环境、卡预购福利、游戏皮肤以及《反恐精英:全球攻势》中的“半衰期:爱莉克斯”主题内容。
半条命VR《半衰期:爱莉克斯》3月24日发行