Nweon

Meta和联发科在联发科2023年芯片峰会上宣布了他们的合作伙伴关系，将共同研发用于AR眼镜的芯片产品。该合作关系是排他性的，意味着联发科开发的芯片产品将只供应给Meta，并不提供给其他AR眼镜品牌。Meta此前曾寻求与三星合作开发AR眼镜芯片，但最终由于分歧而破裂。而联发科对AR/VR领域并不陌生，索尼的PSVR 2头显就搭载了他们研发的芯片。Meta表示AR眼镜需要高性能、低功耗、低延迟和紧凑的设计，因此需要开发全新的芯片，而联发科则成为实现这一目标的关键合作伙伴。虽然还没有透露进一步的细节，但Meta已经与雷朋合作的Meta智能眼镜采用了高通的芯片。然而，关于Meta是否会继续与高通合作研发AR眼镜芯片还不清楚，也不确定Meta是选择多线推进还是单纯依靠联发科研发AR用芯片。

微软在Ignite 2023大会上宣布将把AI助手Copilot引入Dynamics 365 Guides，以结合生成式人工智能和混合现实的力量，帮助一线工作人员更快地完成复杂任务和解决问题。Copilot可以协助工人在工业环境处理复杂的设备和工艺，并通过自然语言和人类手势提供答案。它能从多个数据源中搜索相关信息，并通过HoloLens的全息图提供交互式指导。微软表示，混合现实与人工智能的结合可以改变现实世界的运作方式，现在Copilot可以通过语音和全息图实时帮助一线工人。Copilot在Dynamics 365 Guides中提供了点击和提问、空间内容生成、步骤式帮助、按需信息、专家知识整合和流线型文档等功能。目前，Copilot已推出私人预览版，并将在公开预览版中提供更多功能。微软强调了数据安全和隐私保护。

微软在年度开发者大会Ignite 2023中宣布，Microsoft Mesh正式版和对沉浸式空间的支持将于2024年1月推出。Teams的沉浸式空间支持将包括3D环境和交互式游戏等功能，并允许活动组织者通过Mesh编辑器定制沉浸式体验，目前只向Teams Premium用户开放。微软的转变意义重大，将Microsoft Mesh集成到Teams中，并实现了一个巨大的转变，将其带到人们每天工作的技术中。微软希望通过将Teams、Office、Windows甚至Xbox的体验带到Meta的VR头显，实现员工在任何地方办公都能感受到联结感。通过利用空间音频和音频区域，多个用户可以在同一空间同时进行对话，缓解突发对话的尴尬。微软将继续优化Teams的沉浸式体验，将人工智能应用于沉浸式空间的内容，并将于日后分享更多相关应用。然而，微软需要说服世界相信沉浸式会议是未来的发展方向。

苹果最近为Vision Pro发布了visionOS Beta 6系统，目的是帮助用户更好地上手设备。该系统包含两个新手视频。第一个视频名为“Input Training”，时长36秒，教导用户如何通过眼+手方式控制Vision Pro头显的导航。用户需要将眼睛对准应用程序图标，并用手执行捏合手势来选择。第二个视频名为“Persona Enrollment”，时长约为50秒，教导用户如何通过Vision Pro创建逼真的虚拟Avatar，即Persona。在设置Persona的过程中，用户需要确保面部无遮挡，然后摘下Vision Pro，并用Eyesight显示屏水平对准自己。接下来，系统会扫描用户的面部，并通过语音指示要求用户完成左右摇头、露齿笑、不露齿笑、闭合眼睛等动作。

苹果首席执行官蒂姆·库克曾表示，Vision Pro将开创一个全新的计算时代，并对我们的工作、沟通和体验世界的方式产生深远的影响，就如同当年的iPhone一样。现在，一个名为VisionDevCamp的开发者活动已经宣布将在2024年苹果发布Vision Pro后在美国旧金山举行。该活动由雷文·扎克里领导的全志愿者团队举办，他们曾负责组织iPhoneDevCamp、iPadDevCamp和iOSDevCamp。VisionDevCamp专注于为苹果Vision Pro和visionOS开发应用程序，并提供各种活动、交流和协助。虽然活动的注册尚未开始，但有志之士可以申请邮件通知，并加入Discord社区。扎克里表示，他们希望通过这个活动传播对苹果最新平台和首款空间计算机的兴奋。

苹果在iOS 17.2 beta中增加了一项功能，允许iPhone 15 Pro和iPhone 15 Pro Max录制空间视频。然而，由于苹果的Vision Pro尚未上市，用户目前无法在该设备上查看3D形式的空间视频。不过，感谢Youtube用户Hugh Hou分享的一个解决方案，用户可以使用Meta Quest 3等设备来查看iPhone 15 Pro和iPhone 15 Pro Max录制的空间视频。要录制空间视频，用户首先需要一台运行iOS 17.2 beta的iPhone 15 Pro或iPhone 15 Pro Max，并在相机设置中启用空间视频录制。然后，用户需要在TestFlight中获取“Spatialify”应用程序，该应用程序提供了解码和导出空间视频的说明，支持Meta Quest 3或其他3D头显与3D电视的格式。对于拥有VR头显或3D电视的iPhone 15 Pro或iPhone 15 Pro Max用户来说，录制空间视频可能会很有趣，并且他们可能希望在苹果Vision Pro头显上市之前就能体验到这一功能。

Niantic宣布使用生成式人工智能（AI）来增强其AR游戏《Peridot》中彩色外星人的可爱程度。《Peridot》是Niantic在2022年发布的全新AR游戏，它被认为比之前的项目更接近真正的AR体验。游戏的核心是玩家培育一种名为Peridot的生物，并通过时间的推移创造出新的独特组合。现在，为了增加Peridot的生动性和可爱感，Niantic将采用生成式人工智能。Niantic的算法将分析手机摄像头在游戏过程中捕获的现实世界物体，并将其转换成单词，由Meta的定制版Llama 2进行解释。每只Peridot宠物都有自己的性格特征，通过生成式人工智能的应用，Llama将根据特定性格类型和现实世界物体来确定宠物与周围世界的互动方式，使Peridot变得更加栩栩如生。Niantic表示，AI的应用将允许游戏更好地利用以前未充分利用的动画资源，具体效果有待评估。

Meta 在眼动追踪系统中使用远程荧光体照明的方法。他们提出了一种有效可靠的机制，可以防止并减少摄像头视场中不需要的杂散光。他们使用远程荧光体放置在波导末端和头显透镜的焦点，将照明波长移动到人眼视觉之外的波段，并用于检测闪烁图像。通过使用荧光体，可以将光从波长λ1转换到波长λ2，并且可以显著减少摄像头视场中的杂散光，提高闪烁信号的对比度。通过使用反斯托克斯荧光体，照明波长可以转移到大于1250nm的波长，并且仍然可以用于检测闪烁图像的照明波长发射在980nm波段内。他们的方法与眼睛安全和摄像头性能都保持一致。专利申请中提到了两个专利：一是“Methods, apparatuses and computer program products for remote fluorophore illumination in eye tracking systems”，另一个是“Tunable florescent quantum dot system for eye tracking with virtual reality and augmented reality applications”。这些专利申请最初于2022年5月提交，并已公布。

苹果最近发布了visionOS的第六个beta版本，号码为21N5300a。新版本中增加了多个新功能，并修复了一系列问题。与以往不同的是，苹果现在已经开始在开发者官网上提供关于visionOS更新的完整版本说明，而不仅仅是与特定开发者分享。需要注意的是，苹果空间应用的开发需要使用具有Apple Silicon的Mac，并且visionOS Beta 6的主要亮点包括新功能和问题解决。如果需要了解visionOS Beta 6的完整版本说明，请访问苹果开发者官网。

Telegram创始人兼首席执行官帕维尔·杜罗夫通过视频展示了即将推出的Telegram visionOS应用程序。这是我们看到的首批第三方visionOS概念应用程序之一。该应用程序采用了半透明设计，可以与周围环境融为一体，这是苹果在visionOS中使用的设计语言。应用程序包含一个侧边栏，列出用户正在进行的所有对话，视频可以从界面中弹出，并呈现逼真的效果，就像真实存在于物理环境中一样。用户可以通过虚拟键盘发送信息，也可以通过Siri语音输入。当选中Telegram图标时，会显示相关动画闪动，提供高亮显示的视觉提示。在Vision Pro使用眼加手导航的情况下，只需轻触手指即可启动应用程序。苹果预计将于2024年初推出Vision Pro，随着时间推移，我们应该会看到越来越多的其他第三方应用程序。