Nweon

XR技术在娱乐、通信、广告、教育、医疗保健、国防、机器人、智能制造、人机交互等领域有广泛应用。但随着XR应用程序的计算密集度增加，设计便携式XR设备和系统面临新的挑战。当前便携式XR设备受限于本地设备的功率、计算能力和内存容量，需要依赖高性能计算服务器进行繁重的计算，但存在用户体验不完整与不无缝、数据传输开销、用户隐私和安全问题的缺点。 XR系统基于计算密集型人工智能技术被认为是未来的自然用例，并在XR-AI硬件的边缘设计空间探索中发展。研究人员分析了两种XR特定的计算机视觉人工智能工作负载，并对三种架构进行了XR-AI应用程序的基准测试，研究了它们在不同工艺节点的技术可扩展性。研究结果表明，引入MRAM非波动性内存可以节省存储器能量，并且MRAM替代SRAM可以显著减少面积。但根据工作负载的性质和应用程序的要求，需要仔细调整NVM和SRAM之间的拆分比例以达到最佳结果。 该研究对于设计未来的便携式XR系统和提高性能具有重要意义。

根据映维网Nweon的报道，VR Mod社区Flat2VR的活跃成员Praydog开发了一个开源通用工具Universal VR Mod，该工具可以将传统平台游戏移植到VR。根据Flat2VR官方的推文，他们对255款随机的Unreal游戏进行了测试，结果表明超过90%的作品可以在VR中运行，无需进一步调整。然而，具体的运行效果并不相同，测试结果显示有36.7%的游戏运行效果“完美”，33.1%的游戏效果“很好”，16.7%的游戏效果“还行”，7.8%的游戏效果“糟糕”，还有5.7%的游戏完全无法运行。Flat2VR表示对此非常兴奋，他们期待其他Modder在Universal VR Mod发布后如何利用它修复无法立即运行的游戏并添加运动控制和VR特定机制。尽管Universal VR Mod的确切发布日期尚未确定，但它将为VR游戏带来巨大的补充，特别是备受玩家喜爱的作品。测试结果还提供了具体游戏的细节，如游戏视角、引擎版本和渲染方法等。

Meta正在积极探索使用AR眼镜提供高水平目标的行动建议。他们使用微软HoloLens 2和生成式人工智能模型（如大型语言模型LLM）来推荐相关行动，并将建议放在正确的情景中。该研究还设计了一个技术原型，在Unity中实现，并在HoloLens 2上运行。原型使用Vuforia引擎来追踪模拟公寓空间中的对象，并在相关对象附近的场景中显示建议，每个建议都有一个行动名称和一个支持的用户目标列表。研究人员进行了一项用户研究，共有39名参与者，他们被要求想象建议是由朋友/家人或专家提供的。初步研究结果显示参与者对这种类型的建议重视，但团队认为未来需要进一步探索如何改善建议体验，包括提供关于预期努力、时间承诺和执行行动的更多细节。研究人员计划进一步探索如何帮助用户从人工智能生成的建议中获得更多好处，并探索用户如何与底层模型进行交互以进行定制，以产生更好的输出。

药品生产是一个复杂且高度程序化的过程，需要遵循GxP准则以确保质量和保护患者健康。然而，设备故障和新操作员的培训等问题会导致生产延迟和困难。微软的Jesper Bagh提出，混合现实（MR）可以提高制药制造中的GxP合规性。微软已经推出了基于Dynamics 365 Guides的指南，提供了在GxP环境中使用指南的最佳实践和建议，包括GxP系统的最新行业标准和监管要求。使用Dynamics 365 Guides和HoloLens 2等混合现实技术，制药商可以在物理世界中创建分步说明，并应用于培训、故障排除、维护、组装、检查和验证等多种任务中。微软一直与多家制药公司合作，取得了在合规性、效率、生产力和成本方面的巨大成功。通过利用混合现实的力量实现质量和合规目标，混合现实成为GxP公司宝贵的资源。

苹果将于6月6日举行WWDC 2023开发者大会，有人猜测这可能是苹果首次展示其自研的混合现实头显设备。彭博社最近的一篇报道证实了这一猜测，表示苹果将在WWDC中正式展示这款设备。此前有一种猜测认为苹果可能推迟设备的量产，但现在看来这种猜测是错误的。根据IDC的数据，到2026年全球增强与虚拟现实支出将达到509亿美元，复合年增长率达到32.3%。在这一过程中，国内的大朋VR利用机遇迅速崛起，目前在中国XR市场排名靠前。目前，国内一体机市场面临内容不足的问题，而PCVR则通过适配现有游戏平台扩充内容成为主要方式。大朋VR与V社达成合作，推出了能够适配Steam的PCVR产品，拓宽了内容供给，加速了硬件渗透率。在B端市场，VR厂商需要解决好内容问题，但一些先驱者通过在B端的耕耘，已在海外市场取得成功。大朋VR已全球服务超过13000名开发者，产品遍及20多个国家，其一体机产品在全球出货量上位居前三。预计在C端和B端的双重推动下，加上多年的市场经验，大朋VR将在国内外市场占据一席之地。随着越来越多的巨头和企业入局，优质产品成为主流，用户认知和消费观念不断升级，VR/AR行业将继续加速发展，市场规模也将迅速增长。

PICO 4 Pro是国内首款支持眼动追踪和面部追踪技术的消费级VR产品。它具备智能无级瞳距调节、真人表情模拟、视线交互和视线追踪渲染等功能。通过在头戴内侧增加红外摄像头，PICO 4 Pro能够捕捉眼部和面部动作的变化，实现眼动追踪和面部追踪技术。真人表情模拟可以将用户真实的表情映射到虚拟形象上，提供更真实的互动体验。智能无级瞳距调节可以智能记录用户的瞳距并快速调整，同时记忆多人瞳距，方便多人使用。视线交互和视线追踪渲染能力通过眼动追踪技术实现，可以提升帧率和降低GPU负载。此外，PICO 4 Pro还具备大内存和大电池容量，提供更好的性能。PICO 4 Pro还配备了适配眼动追踪技术的应用和游戏，以及适配宽频马达的应用。PICO未来将开放相关技术给开发者，降低开发和设计成本。PICO 4 Pro的定价在4000元以内。

Meta的元宇宙社交平台Horizon Worlds一直限制年龄在18岁及以上的用户使用。然而，为了增加用户数量和提高用户留存率，Meta正在推进允许13至17岁的青少年进入该平台。这一举措引起了社区的质疑，担心沉浸式虚拟世界会对青少年产生负面影响。数十家倡导组织和儿童安全专家联名呼吁Meta取消这一计划。Meta现在发文进一步解释了对青少年的保护措施，表示通过Horizon Worlds，青少年可以在家中探索丰富多彩的世界，享受音乐会和现场喜剧活动，并与世界各地的人建立联系。Meta将提供一套强有力的适龄保护和安全默认设置，并承诺投资于新的安全功能和家长监督工具。当Horizon Worlds对青少年开放时，将提供定制的年龄适配控制。家长和监护人可以通过家庭中心与青少年联系，并调整其设置。此外，Meta还为父母、监护人和青少年提供额外的教育支持。Meta表示欢迎美国和加拿大13至17岁的青少年加入Horizon Worlds，并将继续探索如何为家庭提供更好的虚拟现实服务。

微软提出了一种集成式摄像头和分离式摄像头系统的概念，其中集成式摄像头是物理集成到头显中的摄像头，分离式摄像头是与头显分离的摄像头。系统可以根据一组规则选择特定的系统摄像头图像和特定的外部摄像头图像，然后通过叠加和对准这些图像生成叠加图像，最终可以在头戴设备上显示叠加图像。为了实现图像对准，可以使用特征检测器识别特征点，然后使用运动模型将图像叠加到一起。此外，可以使用IMU数据来预测摄像头的姿态，并根据姿态进行图像对准。通过选择合适的图像和对其进行对准，可以快速地获取目标，并提供增强的图像内容。微软在专利中描述了方法来选择图像并执行图像对准，以实现快速的目标获取。

《怪物猎人》系列游戏自2004年发行以来，销量已突破了9000万份。现在，Niantic和卡普空宣布将于9月推出基于《怪物猎人》IP的AR手游《Monster Hunter Now》，玩家可以在现实世界中的街道、公园和社区感受游戏的惊险时刻。游戏的背景和玩法与《怪物猎人》宇宙基本一致，玩家可以进行冒险探索和狩猎怪物。利用Lightship平台的LBE和AR技术，虚幻的怪物会逼真地出现在玩家的现实世界感知视图中，玩家可以在街道、公园和社区对怪物进行狩猎，并可以与其他玩家组队一起挑战最凶猛的怪物。《怪物猎人》系列制作人辻本良三表示，《Monster Hunter Now》提供了一种前所未有的现实狩猎体验。Niantic创始人兼首席执行官约翰·汉克表示，《Monster Hunter Now》将成为一次终极体验，玩家可以与朋友一起与幻想般的怪物对抗。《Monster Hunter Now》将于9月正式上线App Store和Google Play，有兴趣的玩家可以在官方网站上注册封测版本。

Synthesis AI是一家位于旧金山的初创公司，他们开发了一种新方法，可以通过文本提示创建逼真虚拟数字人。这项技术使用生成式人工智能和视觉效果管道来制作高分辨率、电影质量的虚拟数字人，可应用于游戏、虚拟现实、电影和模拟等多种应用领域。用户只需输入所需数字人的文本描述，如年龄、性别、种族、发型和服装，系统就会生成符合规范的3D模型，并可通过改变文本提示或使用滑块来编辑3D模型的面部表情和照明等功能。该公司计划从今年第二季度开始提供文本到虚拟数字人功能给一组选定的测试人员。此外，通过将生成式人工智能与电影特效管道相结合，Synthesis AI预计能够加速多个行业的3D应用开发，并降低相关成本。该公司表示，他们的目标是降低开发人员创建资产和合成数据的门槛，推动计算机视觉的发展。