Nweon

开发者多米尼克·哈克尔展示了Quest应用Magic Keys的首个可玩demo。Magic Keys是一款面向Oculus Quest的增强现实应用，通过类似于《吉他英雄》/《Beat Saber》的游戏方式教导玩家简单的钢琴曲和演奏技巧。在游戏中，Magic Keys利用Quest摄像头扫描匹配钢琴琴键，并在特定琴键前方显示包含矩形长条的方块，玩家需按照方块的节奏点击相应的琴键以学习演奏曲目。哈克尔最初计划开发一款支持平板电脑的小型AR应用，后来将其移植到HoloLens，并在其上添加功能和增强音乐的可视化效果。然而，由于HoloLens的视场太小，限制了他的创作。随着Facebook提供Passthrough API，哈克尔将目光转向了Quest。他的最终目标是开发一个功能齐全的虚拟钢琴教师。但现阶段，Magic Keys只是一个可玩demo，应用的发行时间还未确定。

XR设备可以通过机器视觉检测用户的手部和手势来实现交互。然而，不同情景下的操作命令是无穷无尽的，因此设备需要定义大量的手势命令，并且用户需要学习这些命令。微软的专利申请介绍了一种名为"Extended reality gesture recognition proximate tracked object"的技术，它可以智能地解读不同情景中的手势，并执行相应的操作。该技术可以识别位于被追踪对象附近的手势，例如在操作幻灯片的投影仪屏幕时，可以将V字手势解读为下一张幻灯片，在电视手势中解读为快进。这一技术利用摄像头将场景转换为图像数据，并使用对象识别和追踪操作来描绘对象。手势识别操作可以识别图像数据中的身体部位和运动，并确定是否执行了可识别的手势。图像呈现操作可以根据对象识别和追踪操作、手势识别操作、情景操作、语音识别操作或存储器中的数据来修改图像数据。这一技术可以提供更智能、更灵活的XR用户交互体验。

字节跳动最近收购了中国虚拟现实设备制造商Pico。虽然字节跳动和Pico均未公开披露交易金额，但据官方声明，之前在网上传言的90亿元和50亿元并非官方信息。Pico在8月29日向其员工发出全员信，披露了被字节跳动收购的消息。Pico承诺，在享受原有服务的基础上，未来将获得更多内容支持和技术升级服务。此前，字节跳动一直在虚拟现实和增强现实领域进行研发投入，并在交互系统和环境理解方面取得了技术成果。据悉，Pico将整合进入字节跳动的虚拟现实相关业务，并加大在产品研发和开发者生态上的投入。Pico成立于2015年，是一家专注于移动VR一体机市场的公司。除了为消费者提供游戏和影音娱乐服务外，Pico的产品和技术也被应用于企业级市场，为培训、医疗、展览展示等行业客户提供虚拟现实解决方案。收购后，Pico将作为头部客户与歌尔股份继续合作，并已签署长期战略合作协议以确保供应链稳定运转。Pico的创始人兼CEO周宏伟表示，虚拟现实能够为人们带来更丰富的感知和交互体验，与字节跳动的使命相契合。双方对未来的融合充满期待。

重庆QGhappy在王者荣耀世界冠军杯总决赛中击败佛山GK，获得冠军。Pico作为合作商向粉丝们送出了几台Pico Neo 3作为回馈礼物。9月7日19:00，重庆QGhappy将与Pico合作通过虎牙直播，为粉丝们提供福利。这次冠军是重庆QGhappy的队史第六冠，标志着他们成为了KPL首支获得六冠荣誉的战队。重庆QGhappy的队员们将再次使用Pico Neo 3，放松身心。9月7日19:00，重庆QGhappy的5位队员将在虎牙直播间同时开播，并在VR世界中复盘决赛录像。与传统电竞赛事不同，VR电竞正在颠覆传统电竞的体验。Pico举办了《乒乓：致胜11分》全国锦标赛，并在VR市场中获得了市场份额第一。Pico还计划举办更多的VR游戏赛事，并引进优质游戏进行本地化适配和运营。

Facebook用户尝试通过购买和退货虚拟现实头显来恢复被封禁的账号，但最终没有成功。据报道，该用户的账号被封禁是因为创建了一个支持QAnon的小组。尽管用户花费了400多美元购买Oculus Quest头显和Portal，并与Facebook客服进行了沟通，但没有取得任何结果。QAnon是一个由各种阴谋论构成的集合，被Twitter和Facebook等社交媒体严厉打击。用户表示，她失去了15年的珍贵回忆，包括约会、婚礼、蜜月旅行以及宝贝女儿的第一次走路的视频。用户通过多次申诉和联系Facebook寻求帮助，但未得到回复。最后，她尝试购买和退货头显以恢复账号，但账号仍然被封禁。Facebook发言人解释称用户的账号被错误地封禁，并建议用户联系帮助中心填写相关表格。用户最终在三个月后恢复了账号，但对于她而言，珍贵的回忆已经损失不可挽回。

苹果CEO蒂姆·库克可能在未来几年内的继任者开始引起外界关注，尤其是在今年他表示可能不再执掌苹果公司之后。马克·古尔曼对下一任苹果首席执行官的人选进行了分析和推测，并表示库克希望在离开苹果之前为一个重要的新产品类别奋斗。库克特别关注增强现实眼镜，他可能会在增强现实/虚拟现实硬件领域作为最后的战场。苹果内部认为，库克只想在一个主要的新产品类别中停留，可能是增强现实眼镜，而不是更遥远的汽车。古尔曼推测，苹果计划在2022年发布一款混合现实头显，并且正在积极研发AR眼镜，预计在库克的十年期限的“中期”发布。他还估计库克可能会在2025年至2028年期间退休，因为他有一份薪酬协议将在2025年到期。

MR头显通常包括追踪摄像头和惯性测量单元（IMU）的定位系统，可以确定设备相对于周围环境的位置和姿态。在MR场景中，头显的位置和姿态由MR系统提供，可以通过SLAM技术计算用户的位置并实时显示校正虚拟内容。远程渲染是一种减少头显本地处理量的方法，但存在时间延迟和姿态不一致的问题。微软提出了一种名为"Depth buffer dilation for remote rendering"的专利方法，通过优化深度缓冲来提高远程渲染服务和头显之间彩色图像传输的效率，并改善重投影效果。该方法通过识别深度缓冲中的必要深度不连续和非必要深度不连续，并修改缓冲中的深度值来消除非必要的不连续性。头显接收彩色图像和深度缓冲流之后可以进行解码和重投影，使彩色图像的透视能够对应于真实头显的位置。该专利申请于2020年2月提交，并在最近由美国专利商标局公布。

美国国家标准与技术研究院的Teodor Vernica正在研究一项将数字信息叠加到真实世界对象的增强现实技术。随着增强现实技术的发展，制造厂商正在利用它们提高生产系统的精度和效率，例如使用增强现实来培训工人、参观和检查工厂、维护机器设备等。在增强现实中，用户可以直接在视场中看到手持零件的相关信息，而不需要查看移动设备上的信息。Teodor的研究重点是解决工程数据（例如CAD文件）与用于开发增强现实应用程序的软件之间缺乏互操作性的问题。他们正在开发一个管道，将STEP和QIF文件导入增强现实引擎，以将产品数据转换为增强现实。团队的主要挑战是自动将QIF数据与STEP数据匹配，以便在零件几何体中可视化检查结果。这对于数字时代制造业来说是一个重要的测量科学挑战。团队仍在努力研究，并希望尽早取得成果。

来自Pantomime Corporation的AR应用Reality Faucet已登陆苹果App Store。该应用引入了真实物理特性，并可以实现虚拟对象与用户真实环境的动态交互。利用iPhone Pro和iPad Pro的LiDAR深度扫描技术，该应用可以感知房间、家具、物体和真实环境的精确轮廓，并将虚拟对象与其叠加在一起。Reality Faucet引入了真实物理，包括碰撞、滑动、反弹、滚动和阴影变化等反馈，能够根据用户行为和空间环境提供真实的物理体验。应用提供了逼真渲染的球体、纸箱、木板、球棒、水滴、多米诺骨牌和保龄球等数字对象，并且这些数字对象能够提供真实的物理反馈。Pantomime Corporation解释说，当前的AR体验主要集中在静态场景，而他们的“Kinetic Augmented Reality”技术主要应用于动态场景，如滚动和反弹的球体、流动的液体以及堆砌和翻倒的多米诺骨牌。Reality Faucet已支持免费下载，并提供付费内容。

Ultraleap是一家英国的XR触感模拟技术厂商，致力于开发裸手交互技术，并利用超声波传感器阵列为基于手部追踪的裸手交互提供触感反馈。他们的应用方向主要包括AR和VR，并与一些厂商进行了合作，包括高通。 Ultraleap认为最优秀的手部追踪传感器是红外摄像头，并详细介绍了红外摄像头的工作原理。红外摄像头通过红外LED照亮手部反射的光线，然后通过图像传感器转换为数字模型。红外光可以在不同的照明条件下工作，控制光线能够解决不同环境光照变化带来的问题。 此外，摄像头模块采用红外滤光片来过滤不必要的光线，提高追踪精度。而LED的亮度通过脉冲式供能的方式实现，以达到更大的亮度但又不会过热，节约能源。 Ultraleap的手部追踪摄像头模块基于这一原理工作，已应用于Varjo头显和高通XR2参考设计等产品中。