Nweon

MediaPipe是一个用于构建跨平台多模态应用机器学习（ML）管道的框架。它包括快速的ML推理、经典计算机视觉和媒体内容处理等功能。谷歌在2019年6月发布了开源版本v0.5.0，并陆续发布了一系列ML管道示例。最近，谷歌介绍了一个新的MediaPipe示例：对象检测与追踪。这个示例结合了对象检测和Box Tracking，可以提供一个对象检测与追踪系统。Box Tracking解决方案利用了视频或摄像头馈送流中的图像帧，并根据时间戳追踪方框的位置。谷歌的解决方案包含了运动分析组件、流打包组件和方框追踪组件，每个组件都封装成MediaPipe计算器。通过将运动分析分拆到专用的计算器，并追踪整个图像的特征，谷歌可以实现灵活性和稳定的计算能力。这个解决方案不仅可以追踪单个对象或区域，还可以在一批帧中缓存元数据，实现随机访问追踪。同时，谷歌还发布了一个对象检测与追踪的示例图，展示了每帧运行对象检测和对象检测与追踪的对比效果。

Oculus开发者关系团队的开发者关系工程师克里斯蒂亚诺·费雷拉撰写了一篇博文，介绍了如何通过使用RenderDoc工具来优化Oculus Quest应用。RenderDoc是一款窥视应用渲染机制的工具，可以帮助开发者确定渲染是否按照预期进行，并了解GPU执行绘制所需的时间和绘制逻辑组。文章中详细介绍了如何开始使用RenderDoc、将RenderDoc附接到Oculus Quest、启动并附加RenderDoc到游戏/应用、捕获一帧以及调查捕获的内容等步骤。此外，文章还强调了RenderDoc的免费和开源特点，以及建议使用最新版本以确保获得新功能、错误修复和性能优化。最后，文章提到了通过继续深入探索RenderDoc来帮助开发者进一步了解硬件和软件堆栈，并为应用程序提供最佳的渲染方法和设置。

韩国科学家已经研发出一种用于智能隐形眼镜的无线充电技术。该技术利用超精细印刷方法在柔性隐形眼镜中构建了超级电容器、整流电路和发光二极管，这些超级电容器可以快速为电子设备充电和放电，同时也是小型可穿戴设备的关键组件。这项创新意味着未来的新型智能可穿戴设备有更多可能性。智能隐形眼镜与普通隐形眼镜具有相同的灵活性，并且其电路能够监测眼泪中的生物标志物，同时允许佩戴者体验到增强现实的效果，而且不会影响视力。该隐形眼镜可以无线充电，无需插入式电源，避免了安全问题和异物进入眼镜的可能。此外，测试表明充电过程没有过多的热量产生，隐形眼镜可以存放在护理液中而不会变形。相关论文已经发表在国际期刊《Science Advances》。

魔术跳跃（Magic Leap）正在重新命名其首款头显设备，原名为Magic Leap One Creator Edition（创作者版本），现在更名为Magic Leap 1。这款设备目前面向企业用户售价为2295美元，同时进行了一些小幅度的调整，但在外观、工业设计和光学方面基本没有变化。魔术跳跃计划在2021年发布Magic Leap 2，表示新款头显将通过Magic Leap官网和AT&T门店进行销售，面向专业客户提供操作系统更新和软件套件，包括虚拟协作应用《Jump》。魔术跳跃也提供了“Enterprise Suite（企业套件）”，包括专用支持、设备管理软件和快速更换计划。魔术跳跃的目标是虚拟通信与协作、3D可视化、远程培训与协助以及基于位置的体验。尽管市场竞争激烈，魔术跳跃希望通过视觉质量、自由的软件生态系统和人体工学优势吸引用户。魔术跳跃已经与多个合作伙伴合作，并试图证明其在客户和合作者方面的吸引力。然而，对于魔术跳跃未来的发展，首席产品官奥马尔·可汗保持谨慎态度，他表示企业市场是一个巨大的机遇，但预测数字需要成为现实。

智能眼镜开发商North将停售当前版本的Focals智能眼镜，专注于计划明年发售的第二代产品。第二代产品比第一代轻40%，更时尚，并搭载更高分辨率的显示器。该公司没有透露第二代产品的更多细节，但提供了镜框的渲染图。2019年1月，North推出了Focals智能眼镜，但产品销售不佳，在不到一个月的时间里将价格从999美元降至599.99美元。与此同时，该公司还解雇了150名员工。North联合创始人兼首席执行官表示，裁员是为了集中资源，并确保在未来18个月至24个月内实现里程碑。North没有透露售出的Focals智能眼镜数量。此外，North为Focals设立了两个展示厅，其中一个在美国纽约的布鲁克林，另一个在加拿大。然而，布鲁克林的展示厅目前仅应要求开放，而加拿大的展示厅继续按照原有时间营业。

高通在最近的技术峰会上发布了XR2平台，结合了5G AI和XR技术，大幅提升了视觉、交互、音频和AI方面的能力。一位PCMAG记者在峰会现场体验了基于XR2的AR/VR协作体验Spatial，并表示其比Oculus Quest和HoloLens 2的图像更清晰，XR2平台支持单眼3K分辨率，使用户能够阅读细小的文字。

OPPO在2019年未来科技大会上发布了首款AR眼镜。该产品具备轻薄化和高透率的特点，并采用了衍射光波导技术，配备了3D环绕声和多模态交互功能，如手势和语音识别。此外，这款AR眼镜还配置了四枚镜头，包括一枚ToF深度摄像头、一枚RGB摄像头和两枚鱼眼摄像头。

ARCore是谷歌为构建增强现实体验的开发平台。该平台利用ARCore Depth API工具，可提供更沉浸式、自然和实用的增强现实内容。ARCore Depth API允许开发者使用谷歌的动态深度算法和RGB摄像头创建深度映射，通过准确的遮挡技术，数字对象可以在现实世界对象前后出现，营造一种真实的空间幻觉。谷歌将在支持其搜索AR功能的开发者工具Scene Viewer中启用遮挡功能，并与家居装修服务商Houzz合作，在其应用中利用Depth API提供更真实的产品预览功能。除了遮挡功能，Depth API还具备3D理解功能，例如物理模拟、路径规划和表面交互等。Depth API不依赖于专用摄像头和传感器，随着硬件的改进而不断提升深度映射的质量，解锁更多功能。谷歌表示他们只是开始探索Depth API的潜力，并欢迎开发者填写合作者征集表格以进行创新。

Unreal在微软HoloLens 2发布会上提供了一款名为“Apollo 11 Mission AR”的演示体验。该作品根据实际任务的数据和资源制作而成，让用户可以亲眼目睹关于阿波罗11号的众多细节，包括发射、登月以及尼尔·阿姆斯特朗的第一步等等。现在，Unreal宣布《Apollo 11 Mission AR》将作为项目示例登陆Unreal Engine Marketplace，所有人都可以通过这个项目了解Unreal的特殊项目团队如何利用最新的Unreal引擎功能从零开始构建交互式体验，并获得关于如何使用Unreal引擎创建类似项目的深刻见解。根据页面介绍，该项目展示了一个基于物理渲染的场景，包含700多万个多边形、518个特殊材质、868个纹理，纹理分辨率为4K，以及128个网格体，并具有全动态的光照和阴影、分层材质以及3D效果。通过探索和修改这个示例，开发者可以学习到创建沉浸式叙事序列和触发事件的技巧，实现基于触控的输入和交互，以及利用Holographic Remoting通过Wi-Fi的PC流式传输内容。Unreal引擎提供了针对HoloLens 2的全面制作支持，并提供流式传输和原生部署、手指追踪、手势识别、网格划分、语音输入、空间锚固定等工具。

JanusVR是一个专门的VR浏览器，旨在将网站转化为可供探索和分享的多维空间。然而，JanusVR的联合创始人兼首席执行官James McCrae在Reddit论坛宣布公司即将停止营运。他解释说，考虑到各种费用，公司无法继续在加拿大和美国运营。然而，他承诺将继续维护现有的服务和架构，尽管希望看到一个能够自给自足的子社区，但他打算将其作为个人支出。尽管如此，James McCrae表示他为与社区在过去五年建立的成就感到自豪，并且JanusVR已经拥有成千上万的唯一用户。JanusVR提供了沉浸式的网页浏览体验，用户可以随时穿梭于三维世界中，并与其他用户进行互动和分享。该浏览器最初于2017年登陆Steam，并支持多种VR设备。