Nweon

Meta在名为“Gaze-guided image capture”的专利申请中介绍了一种根据用户注视来捕获图像的方法。该方法基于眼动追踪系统生成用户眼睛的注视方向，并选择合适的图像传感器来捕获注视引导的图像。通过注视方向数据，处理逻辑可以选择最接近注视方向的图像传感器来捕获图像。使用这种方法，用户能够捕获与他们注视位置相关的图像，无需额外努力。此外，基于眼动追踪系统确定的注视方向，摄像头可以聚焦到近场或远场对象。整个系统可以应用于头戴式设备，其中多个摄像头可以被耦合到处理逻辑上，以选择合适的摄像头来捕获图像。此专利申请于2021年10月提交，并于最近被美国专利商标局公布。

凯斯西储大学正在利用微软HoloLens的全息应用Immersive Realms来支持学生在沉浸式现实中体验中世纪的艺术。这个应用是由凯斯西储大学艺术史与艺术系中世纪艺术教授埃琳娜·格茨曼（Elina Gertsman）构思的，学生可以通过HoloLens体验哥特式小教堂的混合现实空间，并感受来自克利夫兰艺术博物馆的交互式中世纪藏品。项目还包括使用Artec Leo 3D扫描仪扫描中世纪的象牙雕塑，学生可以通过HoloLens从各个角度查看模型和细节。学生们对这样的教学体验表示非常惊讶和满意，他们认为这种亲身体验能帮助他们更深入地理解中世纪的艺术作品，并认为将HoloLens打造成更好的教学工具对未来的教学梦想非常有用。其中一个学生表示，借此机会让人们更容易接触和理解中世纪的物品将对大学中世纪艺术史的教学起到积极的作用。

谷歌与游戏公司TAITO合作，发布了一款基于AR技术的游戏《太空侵略者：世界保卫战》。这款游戏是为了庆祝经典街机游戏《太空侵略者》发布45周年而推出的。游戏使用了ARCore和Geospatial Creator技术，允许玩家在AR场景中对抗一系列的太空入侵者。游戏可以将用户的社区作为战斗舞台，外星人将会在静态城市图像中精确出现，玩家可以使用炮弹攻击它们。游戏官网目前只提供了一个宣传视频和一段简短的介绍。官方描述了游戏的情节，玩家需要利用飞船的先进技术和专业技能，在多个维度中旅行，并保卫地球。游戏基于ARCore和Geospatial Creator技术，为玩家创造了一个真实世界的游乐场。《太空侵略者：世界保卫战》预计会在今年夏天发布，但具体的售价、发布时间和是否支持iOS尚未确定。

PICO宣布《水果忍者2》登陆PICO Store，并将提供最新的虚拟现实体验。游戏的玩法与经典的移动版《水果忍者》相似，但在这个版本中，玩家将能够化身为一名真实的忍者，沉浸在一个空间中砍切西瓜。游戏提供街机模式、经典模式和禅模式三种游戏模式，玩家需要在限定时间内尽可能多地切掉水果，并注意躲避炸弹。除了保留原有的经典模式，游戏还增添了全新的模式玩法，并对视觉效果和切割手感进行了优化。玩家能够通过逼真的物理效果和视觉效果，感受手中刀刃的重量，体验挥舞时带来的阻力感，切开水果时会爆裂并喷溅五彩汁水。目前，《水果忍者2》原价39.9元，促销价为31.9元，在PICO Store上已上架销售。

麻省理工学院和格芯新加坡的团队开发出了世界上最小的具有增强应变传感能力的LED，并将其应用于制造全息显微镜和将智能手机等设备的摄像头转换为显微镜。这项技术对于室内农业和其他领域的工具迷你化具有重要意义，并且可以大大提高LED应变传感器在可穿戴技术中的应用。研究人员通过创新的LED应变传感器设计解决了尺寸和灵敏度两个关键技术问题，使得颗粒更小且对应变更敏感。团队将该技术应用于制造了世界上最小的全息显微镜，并开发了一种神经网络算法，可用于重建全息显微镜测得的物体，从而可以更好地观察微观物体。这项研究使我们更接近光子学的主要目标之一，即创建一个强大的、超小型的光发射器，并直接集成到光子芯片中。

芬兰手势识别技术创企Doublepoint已获得330万美元的融资。该公司将手势识别技术集成到智能手表等设备中，为增强现实（AR）头显带来一种零学习曲线的交互技术，用户可以直接通过手势来控制AR体验。团队表示，他们的技术可以通过安卓智能手表中已存在的传感器来精确检测微手势，比使用摄像头的VR头显等设备成本更低。Doublepoint希望将相关技术授权给其他公司，并计划在Augmented World Expo上展示相关演示。他们的技术采用了机器学习算法，可以准确检测基于轻触的微手势和表面交互。技术支持创作者使用最简单、最通用的手势，通过智能手表的传感器和嵌入式中央处理器实现。团队计划提供专门用于触碰检测并针对触碰检测进行优化的定制硬件设计。商业计划中，Doublepoint希望将相关技术授权给其他公司，合作伙伴可以将其算法嵌入智能手表并通过蓝牙传输手势事件到适当的头显。

谷歌在2021年的I/O大会上推出了光场显示项目Project Starline，它是一个基于光场技术的3D视频聊天室，可以使对话者感觉对方就坐在自己的对面。在今年的I/O大会上，谷歌展示了Project Starline的全新迭代版本，利用了人工智能的进步，使该项目的体积更小、设计更简单，并能容纳更多的空间。早期的原型需要占据整个房间，并使用复杂的硬件来创建对话者的实时3D模型，现在只需要几个标准摄像头就可以产生更高质量的逼真3D图像，使得原型更容易部署和访问。谷歌已与Salesforce、T-Mobile和WeWork共享了新的原型，并收集了关于Project Starline如何帮助分布式员工保持联系的反馈数据。谷歌表示，新的原型有助于建立更牢固的人际关系，减少会议疲劳并提高注意力。Salesforce的高级副总裁安迪·怀特表示，Project Starline有潜力帮助建立真实和身临其境的联系，提高生产力和效率。

谷歌推出了一款名为Geospatial Creator的新的AR工具，旨在帮助用户通过Unity或Adobe Aero等平台在几分钟内可视化、设计和发布基于世界规模的沉浸式内容。Geospatial Creator基于谷歌ARCore和Photorealistic 3D Tiles from Google Maps Platform，可以帮助开发者和创作者轻松地将数字内容放置在现实世界中的特定位置。这个工具可以为Android和iOS设备构建跨平台的基于世界的体验，并以二维码或链接的方式在Adobe Aero中共享。谷歌强调，Geospatial Creator将重新定义娱乐、购物、学习等领域的方式，并与合作伙伴合作开发实际用例。一些即将推出的AR体验使用Geospatial Creator进行构建，包括基于AR的《SPACE INVADERS: World Defense》游戏、Gap和Mattel的交互式体验、Global Street Art的AR壁画和新加坡旅游局的沉浸式导游体验。Geospatial Creator已经正式发布，详细信息可访问谷歌的开发者网站。

谷歌在2023年的I/O大会上宣布，他们的AR平台ARCore目前已经支持14亿安卓设备，并且与部分iOS设备兼容，使其成为跨设备AR平台。此外，谷歌还在不断优化AR工具，包括新增的Streetscape Geometry API、Geospatial Depth API和Scene Semantics API。Streetscape Geometry API可以围绕用户进行交互和转换建筑几何图形，允许开发者构建与真实世界几何体交互的体验。Rooftop Anchors和Geospatial Depth允许开发者将数字内容锚定到建筑物屋顶，并改善深度测量。Scene Semantics API使用AI为室外场景中的每个像素提供类标签，使开发者可以根据用户周围的区域创建自定义的AR体验。此外，谷歌还发布了一个开源演示内容"Mega Golf"，帮助开发者体验新的API。谷歌表示，新版本的ARCore和地理空间功能可以帮助开发者构建逼真的增强现实体验，为用户提供愉悦和实用的使用体验。

三星计划在谷歌和高通等合作伙伴的帮助下，开展全新的扩展现实（XR）产品和体验。三星将与高通合作开发芯片组，硬件将由三星自己提供，而系统将由谷歌提供。在谷歌的I/O大会上，谷歌再次确认与三星的合作，并表示正在为三星的XR头显研发基于Android的操作系统。此外，三星还计划与Meta和微软等公司进行合作，但没有透露更多细节。据三星执行副总裁Patrick Chomet称，三星正在制定混合现实产品的路线图，并计划构建一个以三星为中心的XR生态系统，涵盖元宇宙、软件、内容和硬件等方面。对于三星的XR设备何时问世尚不清楚，但谷歌在移动端操作系统研发方面的优势将有助于提供适合的XR操作系统。