Nweon

北京航空航天大学和香港城市大学合作展示了一种可穿戴式气味发生器，为VR提供缺失的嗅觉体验。嗅觉在人类生活中扮演重要角色，如建立母婴关系、食物选择和危险警告等。研究人员提出了一组用于无线控制嗅觉接口的材料选择、设备设计和系统布局，并将微型气味发生器阵列集成到柔软的电子产品中，提供个性化和本地化的气味环境。发生器有两种形式，一种贴在鼻下的皮肤上，可以产生两种气味；另一种是口罩形式，可以产生九种气味。实验测试了30种气味，包括迷迭香、莫吉托、煎饼、菠萝、生姜和榴莲。研究人员认为，这种可编程的嗅觉界面可以通过嗅觉刺激提供用户和虚拟世界之间的交互，将VR/AR扩展到另一个维度。他们将继续改进系统，以解决切换气味类型时的延迟时间和提高阵列通道等问题。

Meta最近开源了一种名为ImageBind的全新AI模型，它能够将六种不同模态的数据（包括文本、音频、视觉数据、温度和运动读数）对齐到一个公共空间，实现跨模态搜索和互动。例如，通过提供一张海浪的图片，ImageBind可以检索到海浪的声音；如果提供老虎的图片和瀑布的声音，系统可以生成一个老虎行走在瀑布前的视频。该模型目前只是一个研究项目，暂时没有直接的消费者应用，但它可以为创作身临其境的多感官体验提供帮助。此外，Meta表示未来的模型可以添加其他感官输入流，包括触摸、语音、嗅觉和大脑功能磁共振信号。这种多模态AI模型的发展将使人工智能系统能够像当前的文本输入一样交叉引用各种不同的数据，并提供更丰富的环境和动作体验。对于沉浸式内容创作而言，随着相关技术的提升，AI将提供巨大的帮助，并带来数量和质量方面的极大提升。

根据Meta发布的一份博文引用德勤进行的研究报告，到2035年，元宇宙有望为美国GDP最高贡献7600亿美元，占比达到2.4%。同时，元宇宙对亚洲和欧洲的最高GDP贡献分别可达到1.4万亿美元和4890亿欧元。报告指出，元宇宙已经在教育、游戏、健康和商业等领域展现出潜力。德勤的研究还考察了元宇宙对世界各地经济潜力的影响，用于提高效率，创造新市场和业务类型，并提供新的就业机会。报告还概述了美国、欧洲、中东和北非以及亚太地区在元宇宙技术开发和应用方面的情况。此外，报告强调了全球科技公司、政策制定者、学术界和民间社会之间的合作与协作对于发挥元宇宙潜力和确保用户参与沉浸式体验时的适当保障的重要性。总体而言，元宇宙在推动创造力和经济机会方面具有重要的应用前景。

索尼最近发布了PlayStation VR和PlayStation VR2的上个月下载排行榜。榜单分为美区和欧洲区。具体的排行榜如下： 1. PS VR2游戏下载排行榜TOP10（美区） 2. PS VR2游戏下载排行榜TOP10（欧区） 3. PS VR游戏下载排行榜TOP10（美区） 4. PS VR游戏下载排行榜TOP10（欧区）

微软认为当前用于用户控制器的方法和系统相当昂贵，因为用户控制器必须包含与混合现实系统实时通信的有缘追踪系统。为了解决这个问题，微软在一项名为“Rf retroreflector based controller tracking for vr headsets”的专利申请中介绍了一种成本较低的无源控制器系统。该系统利用射频回射器和有源传感器系统（头显）来追踪无源控制器。微软指出，这种无源系统相对于现有系统具有许多技术优势，例如相对便宜、尺寸小、传输信号的频率高度可定制。此外，在混合现实系统中，无源控制器系统可以设计为手持式遥控器，能够以亚毫米和亚弧度的精度追踪其位置和方位。专利描述了无源控制器系统的多个实施例，并展示了有源传感器系统和无源控制器系统之间的通信和追踪方式。该技术对于降低混合现实设备的制造成本和提高用户体验具有潜在价值。

游戏行业越来越多地采用人工智能（AI）技术，VR游戏也不例外。例如，《上古卷轴5：天际VR》社区早前使用ChatGPT来提升游戏的沉浸感。在另一个实验中，社区用户利用ChatGPT制作了《Beat Saber》的克隆版本。尽管目前的ChatGPT并不完美，但它可以回答一系列问题，并提供有用的细节，如在Unity中设置XR并制作VR player。ChatGPT是一种基于文本的AI，但它也具备视觉思考能力。Valem购买了订阅服务，使用GPT-4进行测试。虽然ChatGPT无法完全匹配要求的结果，但在收到错误提示后进行了纠正。当谈到击砍立方体时，ChatGPT表示这对于单个响应而言太复杂，但经过尝试后提供了一个有缺陷的脚本，建议采用GitHub上人类开发者的代码作为解决方案。创建具有挑战性但有趣的《Beat Saber》关卡更加复杂，ChatGPT需要开发者的帮助才能实现。虽然人工智能可以成为VR游戏开发的优秀助手，但它还不准备完全取代程序员。

映维网报道，随着增强现实（AR）越来越融入日常生活，可解释人工智能（XAI）在AR中的作用变得重要。然而，目前尚不清楚如何为AR设计有效的XAI体验。为了解决这个问题，Meta团队的研究人员开发了一个名为XAIR的框架，旨在帮助设计师在AR应用程序中实现有效的XAI设计。他们通过对多学科文献综述和用户调查的研究，确定了何时进行解释、解释什么以及如何解释这三个关键问题。团队指出，XAIR可以为设计师提供指导，识别新的设计机会，并在AR中实现有效的XAI设计。研究人员进一步表示，随着人工智能越来越强大，XAIR框架可以自动识别设计中的关键因素，帮助设计师改进AR中XAI的设计。此外，研究人员还计划探索XAIR框架的自动化和个性化XAI体验的发展。

哥伦比亚大学的研究人员开发了一种新型集成光子器件，可以将限制在光波导中的光转换为自由空间中的任意光学图案的漏波超表面。该器件是第一个同时控制所有四个光学自由度的设备，包括振幅、相位、偏振椭圆度和偏振方向。由于器件非常薄、透明且与光子集成电路（PIC）兼容，可以应用于光学显示器、激光雷达（LIDAR）、光学通信、量子光学和全息显示器等领域。实验结果表明，漏波全息图可以同时位移四个不同的图像，可用于制作更轻、更舒适的增强现实头显和更逼真的全息3D显示器。研究人员表示，他们找到了一种桥接自由空间光学和集成光子学的解决方案，可以用于解决一系列的新兴应用，如量子光学、传感器网络、芯片间通信和全息显示器。团队通过使用波导锥将输入波导模式扩展为平板波导模式，通过设计漏波超表面来控制自由空间光波。他们还计划进一步展示在可见光波长下工作的高输出效率设计。

微软提出了一种集成式摄像头和分离式摄像头的系统理念。集成式摄像头是指物理集成到头显的摄像，而分离式摄像头是指与头显分离的摄像头。该系统的配置可以将分离式摄像头放在用户的胸部或握持的工具上，用于定位用户期望的目标。微软的发明旨在使用头显、系统摄像头和外部摄像头作为瞄准接口来瞄准工具。通过将外部摄像头获得的图像与系统摄像头生成的图像重叠并对准，可以生成具有增强特征的合成图像或叠加图像。这样的配置能够实现快速的目标获取，使用户无需通过工具的瞄准器进行观察。微软的专利申请名为“Smooth and jump-free rapid target acquisition”，于2021年10月提交，并最近由美国专利商标局公布。

苹果公司提交了一项名为"Systems and methods for processing scanned objects"的专利申请，该专利介绍了用于处理扫描对象的系统和方法。该系统和方法可以捕获真实世界对象的信息，并基于这些信息生成虚拟对象。在一个示例中，电子设备可以配置为扫描捕获物理环境中的对象，例如花瓶，并生成花瓶的三维模型供在增强现实环境中使用。为了捕获这些对象，设备包括一个或多个图像传感器来获取有关物理环境中对象的信息。扫描对象的过程涉及从多个角度多次进行对象的捕获，并通过执行摄影测量过程处理三维扫描数据以生成对象的三维模型。此外，设备还提供用户界面，显示实时视图和指示，以引导用户捕获对象的正确位置和部分。该专利申请最早于2022年9月提交，并在2023年5月公布。