微软最近提交了两项专利申请，标题分别为“从稀疏色信息生成超分辨率图像”和“利用运动数据生成高分辨率图像”。这些专利描述了一种使用改进的时间滤波方法来生成高质量的合成图像的系统和方法。具体而言，系统将多个图像的数据组合在一起，并使用运动数据对图像进行补偿和对齐。然后，系统通过组合红色、绿色和蓝色单色图像来生成高分辨率的输出全彩色图像。这样做有助于减少运动产生的重影效果，并提升图像质量。对于缺少颜色数据的情况，系统还可以使用双边插值来填充缺失区域。这些专利申请说明了微软在虚拟现实（XR）领域的持续创新和努力，以提供更好的用户体验。

Meta AudioCraft是一个开源音频生成框架，通过对原始音频信号进行训练，可以从基于文本的用户输入中生成高质量、逼真的音频和音乐。其包括三个模型：MusicGen用于生成音乐，AudioGen用于生成音频，EnCodec是一个解码器，能产生预训练的音效和环境声音。Meta团队希望通过开源代码，让研究人员和从业者可以访问和训练自己的模型。 近年来，生成式人工智能模型在图像、视频和文本生成方面取得了进展，但在音频领域仍有挑战。生成音频需要建模复杂的信号和模式，尤其音乐作为音频类型中最具挑战性。AudioCraft模型可以产生具有长期一致性的高质量音频，能够轻松交互，并且简化了音频生成模型的设计。 EnCodec是一种有损神经编解码器，专门用于压缩任何类型的音频并重建原始信号。通过EnCodec的解码器，结合自回归语言模型，可以生成新的音频和音乐。Meta团队将继续研究高级生成AI音频模型，改进当前模型的速度和效率，并通过开源分享代码，促进更多的研究和应用。他们相信这个框架可以对先进人机交互模型的发展产生有意义的影响。

增强现实通信平台Beem宣布与高通和T-Mobile合作，为骁龙Spaces XR开发平台带来远程全息呼叫功能。Beem表示，他们的全息通信软件将通过骁龙Spaces平台提供更广泛的覆盖，并利用T-Mobile 5G网络兼容设备的支持，改善数字通信体验。AR全息呼叫被认为是面对面交流的下一个最佳解决方案，因为它提供了更亲密的交流形式。团队将提供骁龙Spaces解决方案集成，让任何骁龙Spaces设备可以进行全息通话，并提供了商业使用的高级选项。高通和T-Mobile对此合作表示赞赏。Beem的首席执行官表示，他们非常高兴能够为骁龙Spaces提供远程呈现功能，并确保未来的通信媒介成为可能。此外，Beem已经支持骁龙Spaces的远程呈现集成，并将在未来几个月发布新功能和更新。

AR/VR办公平台Immersed正在研发一款名为Visor的8K VR/MR头显。Immersed的官网曾一度上线但后来撤下，现在重新上线并公布了进一步的情报。官方表示与高通、英特尔和一家未具名的AR/VR科技巨头合作。Immersed目前提供了免费的串流功能，让用户在XR中显示PC显示器内容，最多生成5个虚拟窗口，以提高办公效率。为了解决商用头显过重、分辨率不高的问题，Immersed决定为用户提供一款专门优化的XR设备Visor。Visor是与高通、英特尔和一家未具名的AR/VR科技巨头的战略合作结果，体积小且轻巧，支持定制选项和基于高通技术的六自由度追踪，并可连接Windows、Mac和Linux系统。Visor搭载板载芯片组和电池，支持无线模式，单眼配备4K Micro-OLED显示器，能够实现全彩透视。Immersed表示定制的硬件和软件设计使得虚拟工作空间准备时间极短，该设备旨在提升生产力。Visor计划于2024年发布，尚未公布价格，但表示价格将低于苹果Vision Pro的3500美元。

据《华尔街日报》报道，Meta与雷朋合作推出的Ray-Ban Stories智能眼镜用户留存率惨淡，超过90%的用户放弃了这个平台。文件显示，Meta在2021年9月至2023年2月期间售出了30万副智能眼镜，但只有大约2.7万副设备每月有定期使用。此前，《The Verge》报道称，Meta当时只累计卖出了12万副智能眼镜，未达到最初预定的30万副目标的一半。 Ray-Ban Stories智能眼镜在发布时提供了拍摄照片和视频、分享冒险经历以及听音乐和打电话等功能。然而，由于音频质量不佳、语音命令不够智能、续航能力差以及难以导入其他设备媒体等问题，这款设备似乎没有受到用户的喜爱。 Meta表示希望调查用户停止使用眼镜的原因，并努力提高新功能的采用和用户的参与度和留存率。尽管留存率堪忧，但相关文件预测Meta将能够在产品的生命周期内售出39.4万副智能眼镜，已接近于既定目标。 尽管第一代Ray-Ban Stories存在诸多技术问题，但业内人士普遍认为它是未来真正AR眼镜的铺路石。Meta利用雷朋品牌的知名度来维持市场的关注，并进行技术方面的积累和试水。公司表示将继续投资VR和AR生态系统，预计明年的元宇宙业务营业亏损将大幅增加。

XR协作与办公平台Immersed的团队宣布推出一款专为工作设计的自家VR头显Immerse Visor。该头显与一家科技巨头合作，并拥有修长轻薄的设计和双4K分辨率的微型OLED屏，提供100度的视野。据称它比智能手机轻25%，重量可能低于200克。该头显预计具备光学内外追踪功能，用户无需使用外部基站。具体规格和功能尚不清楚，但Visor将提供定制适配，每个头显都与用户独一无二。Immersed可能采用类似Bigscreen的方式，通过iOS应用程序扫描用户面部轮廓来创建定制的面部接口。该头显定价可能不便宜，但主要面向使用笔记本电脑的专业人士，旨在提供多屏幕体验。尚未公布定价，但预购将于今年晚些时候开始。头显也具备用于独立内容的内置处理功能。该团队目前只确认Immersed应用程序将原生运行于头显上，未提及其他原生体验的备用商店计划。

SIGGRAPH 2023大会将在洛杉矶于8月6日至10日举行，庆祝50周年。会议聚焦计算机图形与互动技术，涵盖人工智能、VR、AR及MR的发展。赞助商包括英伟达、索尼、Unity Technologies和Vast，演讲内容将探讨新技术对艺术创作的影响。Meta还将展示两款处于研究阶段的XR头显原型：Butterscotch Varifocal和Flamera。同时，Unity Wētā Tools、英伟达及索尼等也将介绍各自的创新技术。

Oculus Connect, Facebook Connect, Meta Connect. No matter what the companies call their annual XR developer conferences, it has been almost 10 years since the first Connect was held - either in person or exclusively streamed online. Despite the impact of the pandemic, all these conferences have one important thing in common: none of them have used their core XR technologies to enable virtual connections among people. Why is that? Started by Oculus in 2014, Connect was the earliest place where early adopters could gather and learn how to make their games and applications run on the first consumer-grade VR headsets. Engineers, designers, and creative individuals from around the world would flock to this event in California, making it one of the preferred destinations for the VR developer community to get their hands on new hardware, showcase projects, and master new technologies. Although the "magic of startups" has gradually transitioned from the original Oculus founders to the Meta Mothership, this live event is still seen by VR developers as a place of legendary status and a great venue for networking and learning. Since 2020, due to the COVID-19 pandemic, Connect has completely transitioned to an online format. No more hot items, no free candies. For three years, there have been no post-event drinks. Although this year marks the first "in-person" attendance since 2019, the event only allows a "limited number" of participants to enter the halls of Meta's headquarters in Menlo Park, forming a sharp contrast to the massive conferences held at the San Jose McEnery Convention Center in Silicon Valley. Let's forget about the first six years of this conference for now. During the past three years, Meta has only provided remote experiences - standard pre-recorded livestream videos for developers who wish to "attend" the event live, assuming they all have VR headsets ready to go. I'm not talking about the Meta Connect room held in Horizon Worlds last year, which hosted all the major keynote presentations in a series of theaters, allowing you to watch them in VR with a group of strangers. I'm referring to bringing the metaverse conference center to where you might logically think it should be. While only Zuckerberg and his team know why Meta has not launched a true VR version of Connect, we can speculate. Limited field of view Let's assume that Meta wants to bring future developer conferences into the metaverse. If it relies only on pre-recorded flat videos like now, people may not attend live because they can always watch later, more conveniently without wearing a headset, which means there is no real conference. If there is a segment similar to live broadcasts, including roundtable discussions and Q&A sessions with participants, maybe people will be willing to stay up for a while in the late night in the Eastern Hemisphere to see what's going on. The emerging social VR platform, Facebook Horizon Worlds, launched in 2020, is slowly starting to adopt basic features that other more successful applications like Rec Room, VRChat, and Roblox already have, and these apps can also be used on various devices outside of the Quest platform. Meanwhile, Horizon Worlds is only available to Quest users in select countries, including the US, UK, Canada, France, Iceland, Ireland, and Spain. Statistics show that the majority of people on Earth do not live in these countries. Image provided by Meta The company's social platform is only now slowly gaining stickiness by offering more high-quality proprietary content, such as the latest hero shooter game Super Rumble, which Meta clearly sees as the core of bigger and better things. One day, its in-house metaverse might become the default choice for users, but the company's Reality Labs team needs to surpass the above-mentioned social apps, which have taken an early lead and have a wider distribution. Nevertheless, the past few years of COVID-19 could have been an opportunity to accelerate the development of Horizon Worlds by hosting conferences and integrating third-party developers into the platform, although this could be a risky move. While attending parties to watch keynote speeches may be a fairly normal behavior in reality, it is not so common in social VR (as we have seen in HorizonMeta（前身为Facebook）计划将其Connect高峰会议转化为虚拟现实（VR）版本，但面临一些挑战。Meta的社交VR产品Horizon Worlds仍在开发中，并且尚不够成熟。一个完全虚拟化的会议可能面临许多问题，例如网络连接中断、音频延迟和不负责任的参与者行为。此外，实现大规模支持，让数千人的头像在同一个共享的虚拟世界中漫游，也是一个技术挑战。不过，Meta正在努力提高头像渲染质量。 此外，一些附加功能可能被忽视，例如临时走廊聊天、排队时的旁人对话和场外派对。如何在VR中再现这些活动也是一个难题。与此同时，Connect是Meta展示新硬件并让开发者体验的重要活动之一。 然而，由于2020年末发布的Quest 2已被视为行业最成功的消费级VR头盔，开发者普遍选择为其构建应用程序。Quest 2的成功源于首款独立式VR头盔Quest的基础。然而，尽管Quest 2被广泛使用，但它无法展示Meta在变焦光学、视网膜分辨率和光场透视等领域的最新进展。 总之，将Connect转化为虚拟现实版本对Meta来说是一个艰巨的任务，尽管面临技术和概念方面的挑战，但Meta正努力克服这些问题。Quest 2节奏加快，带来了显著的移动芯片组性能不足问题，使开发者不得不进行大量优化，有时甚至需要从头构建应用程序。Meta决定不将其核心技术作为开发者连接的方式，并错过了解决这些问题的机会。今年9月的Connect活动将揭晓Meta是否会回归线下活动以及Horizon Worlds是否会举办更大规模的虚拟活动。然而，Meta可能不会完全或部分以有意义的虚拟效果来举办活动，除非能解决社交虚拟现实的痛点。或许下一代混合现实头显能够解决一些问题，实现线下参与者和虚拟参与者一同参与。可能Meta对Horizon Worlds的实现缺乏信心，许多开发者可能已不再需要Connect，将其虚拟化也没有意义。在评论中分享您的想法！

自苹果于6月份发布Vision Pro以来，职位启事迅速增多，目前已达到80+。据映维网的统计，苹果在7月份公布的AR/VR岗位合计近100个，为单月最多。这些岗位涵盖了苹果Vision Pro的各个方面，包括软件工程师、Demo EPM、UX研究人员、用户研究经理、资深应用工程师、照片应用工程师、系统应用工程师、FaceTime工程师、技术美术和空间网页工程师等。最新的一个招聘启事中，苹果提到了一个针对Vision Pro的研究软件工程师职位，这个职位要求加入一个由专业研究人员和工程师组成的团队，探索新兴技术，并带来能够改善人们生活的全新功能。苹果强调，这个职位将与世界一流的科学家、工程师和设计师团队共同研究未来的空间计算技术。该职位对求职者提出了相当高的要求，包括四年以上的低级系统编程语言经验和强大的软件工程技能。苹果目前正在招聘各个方面的人才。

苹果公司获得了一项新专利，涉及在扩展现实（XR）环境中可视化非可见现象的设备。该专利允许用户通过眼镜实现增强现实（AR），并根据环境传感器的反馈查看如气体、音频围栏等不可见特征。苹果表示，未来的混合现实（MR）设备可能以多种形式存在，如头戴式显示器、平视显示器或集成于窗户中的显示器等。这些设备能够检测物理环境中的不可见特征，并在对应位置显示可视化效果。