Nweon

该文介绍了一种基于单目RGBD视频的六自由度目标追踪和三维重建方法。该方法只需要在初始帧中对目标进行分割，并利用两个并行线程执行在线图形姿态优化和神经对象场表示。方法能够处理具有挑战性的场景，如快速运动和部分遮挡、缺乏纹理和高光等。在几个数据集的比较中都展示了优异的结果。该方法的关键是在线姿态图优化过程、神经对象场和内存池的使用。方法在六自由度目标追踪和三维重建方面比其他方法表现更好。未来的研究方向是利用形状先验来重建不可见部分。

微软最近提交了两项专利申请，标题分别为“从稀疏色信息生成超分辨率图像”和“利用运动数据生成高分辨率图像”。这些专利描述了一种使用改进的时间滤波方法来生成高质量的合成图像的系统和方法。具体而言，系统将多个图像的数据组合在一起，并使用运动数据对图像进行补偿和对齐。然后，系统通过组合红色、绿色和蓝色单色图像来生成高分辨率的输出全彩色图像。这样做有助于减少运动产生的重影效果，并提升图像质量。对于缺少颜色数据的情况，系统还可以使用双边插值来填充缺失区域。这些专利申请说明了微软在虚拟现实（XR）领域的持续创新和努力，以提供更好的用户体验。

Meta AudioCraft是一个开源音频生成框架，通过对原始音频信号进行训练，可以从基于文本的用户输入中生成高质量、逼真的音频和音乐。其包括三个模型：MusicGen用于生成音乐，AudioGen用于生成音频，EnCodec是一个解码器，能产生预训练的音效和环境声音。Meta团队希望通过开源代码，让研究人员和从业者可以访问和训练自己的模型。 近年来，生成式人工智能模型在图像、视频和文本生成方面取得了进展，但在音频领域仍有挑战。生成音频需要建模复杂的信号和模式，尤其音乐作为音频类型中最具挑战性。AudioCraft模型可以产生具有长期一致性的高质量音频，能够轻松交互，并且简化了音频生成模型的设计。 EnCodec是一种有损神经编解码器，专门用于压缩任何类型的音频并重建原始信号。通过EnCodec的解码器，结合自回归语言模型，可以生成新的音频和音乐。Meta团队将继续研究高级生成AI音频模型，改进当前模型的速度和效率，并通过开源分享代码，促进更多的研究和应用。他们相信这个框架可以对先进人机交互模型的发展产生有意义的影响。

增强现实通信平台Beem宣布与高通和T-Mobile合作，为骁龙Spaces XR开发平台带来远程全息呼叫功能。Beem表示，他们的全息通信软件将通过骁龙Spaces平台提供更广泛的覆盖，并利用T-Mobile 5G网络兼容设备的支持，改善数字通信体验。AR全息呼叫被认为是面对面交流的下一个最佳解决方案，因为它提供了更亲密的交流形式。团队将提供骁龙Spaces解决方案集成，让任何骁龙Spaces设备可以进行全息通话，并提供了商业使用的高级选项。高通和T-Mobile对此合作表示赞赏。Beem的首席执行官表示，他们非常高兴能够为骁龙Spaces提供远程呈现功能，并确保未来的通信媒介成为可能。此外，Beem已经支持骁龙Spaces的远程呈现集成，并将在未来几个月发布新功能和更新。

AR/VR办公平台Immersed正在研发一款名为Visor的8K VR/MR头显。Immersed的官网曾一度上线但后来撤下，现在重新上线并公布了进一步的情报。官方表示与高通、英特尔和一家未具名的AR/VR科技巨头合作。Immersed目前提供了免费的串流功能，让用户在XR中显示PC显示器内容，最多生成5个虚拟窗口，以提高办公效率。为了解决商用头显过重、分辨率不高的问题，Immersed决定为用户提供一款专门优化的XR设备Visor。Visor是与高通、英特尔和一家未具名的AR/VR科技巨头的战略合作结果，体积小且轻巧，支持定制选项和基于高通技术的六自由度追踪，并可连接Windows、Mac和Linux系统。Visor搭载板载芯片组和电池，支持无线模式，单眼配备4K Micro-OLED显示器，能够实现全彩透视。Immersed表示定制的硬件和软件设计使得虚拟工作空间准备时间极短，该设备旨在提升生产力。Visor计划于2024年发布，尚未公布价格，但表示价格将低于苹果Vision Pro的3500美元。

据《华尔街日报》报道，Meta与雷朋合作推出的Ray-Ban Stories智能眼镜用户留存率惨淡，超过90%的用户放弃了这个平台。文件显示，Meta在2021年9月至2023年2月期间售出了30万副智能眼镜，但只有大约2.7万副设备每月有定期使用。此前，《The Verge》报道称，Meta当时只累计卖出了12万副智能眼镜，未达到最初预定的30万副目标的一半。 Ray-Ban Stories智能眼镜在发布时提供了拍摄照片和视频、分享冒险经历以及听音乐和打电话等功能。然而，由于音频质量不佳、语音命令不够智能、续航能力差以及难以导入其他设备媒体等问题，这款设备似乎没有受到用户的喜爱。 Meta表示希望调查用户停止使用眼镜的原因，并努力提高新功能的采用和用户的参与度和留存率。尽管留存率堪忧，但相关文件预测Meta将能够在产品的生命周期内售出39.4万副智能眼镜，已接近于既定目标。 尽管第一代Ray-Ban Stories存在诸多技术问题，但业内人士普遍认为它是未来真正AR眼镜的铺路石。Meta利用雷朋品牌的知名度来维持市场的关注，并进行技术方面的积累和试水。公司表示将继续投资VR和AR生态系统，预计明年的元宇宙业务营业亏损将大幅增加。

自苹果于6月份发布Vision Pro以来，职位启事迅速增多，目前已达到80+。据映维网的统计，苹果在7月份公布的AR/VR岗位合计近100个，为单月最多。这些岗位涵盖了苹果Vision Pro的各个方面，包括软件工程师、Demo EPM、UX研究人员、用户研究经理、资深应用工程师、照片应用工程师、系统应用工程师、FaceTime工程师、技术美术和空间网页工程师等。最新的一个招聘启事中，苹果提到了一个针对Vision Pro的研究软件工程师职位，这个职位要求加入一个由专业研究人员和工程师组成的团队，探索新兴技术，并带来能够改善人们生活的全新功能。苹果强调，这个职位将与世界一流的科学家、工程师和设计师团队共同研究未来的空间计算技术。该职位对求职者提出了相当高的要求，包括四年以上的低级系统编程语言经验和强大的软件工程技能。苹果目前正在招聘各个方面的人才。

Meta日前专门发布了一个拍摄指南，旨在帮助开发者以高质量的视频展示他们的VR/MR应用。这个指南Playbook致力于让开发者了解如何拍摄和制作任何类别应用的视频，通过高质量的体验来唤起用户的兴奋之情并实现购买转化。Meta邀请了VR/MR媒体专家编制了详细的介绍。开发者可以点击链接访问和下载完整的指南Playbook。

美国康奈尔大学、瑞士洛桑联邦理工学院Meta和美国密歇根大学的研究人员近期预览了一种名为WaveFiber的实用波动光学反射模型，该模型基于物理光学近似，能够渲染逼真的3D毛发和皮毛。该团队计划在SIGGRAPH 2023大会上进行演示介绍。研究中，团队探索了具有任意3D微几何形状的粗糙纤维的波动效应，开发了基于物理光学近似的三维波光学模拟器，并利用基于GPU的分层算法大大提高了计算速度。模拟和实际模型均显示出与光学测量相似的颗粒模式。团队还引入了基于小波噪点的模型，以捕获与渲染相关的仿真结果中的重要统计特征。该模型可以与现有的散射模型相结合，以渲染各种颜色的头发和皮毛，并引入视觉上重要的彩色闪烁。研究人员表示，他们的模型具备逼真的彩色闪烁效果，并包含纤维周围的正向衍射，与光线模型相比在皮毛上产生了更柔和的高光。

根据最新报道，苹果公司从7月份开始在多个城市设立Vision Pro开发者实验室，包括美国库比蒂诺、英国伦敦、德国慕尼黑、中国上海、新加坡和日本东京。然而，据马克·古尔曼透露，目前只有少数开发者参观了美国的Vision Pro开发者实验室，其他城市的实验室情况尚不清楚。报道提到苹果于7月底正式开放了Vision Pro开发者实验室的申请通道，邀请获批的开发者参加一天的活动，可以亲自体验Vision Pro上运行的visionOS、iPadOS和iOS App，并在苹果的支持下测试和优化应用程序。虽然苹果专家将会提供设置和故障排除的帮助，但由于苹果不报销旅费，除了居住在上述城市的开发者外，其他开发者前往实验室的吸引力似乎不大。另外，苹果也积极提供其他开发者资源，例如最佳实践分享和visionOS模拟器等。