Nweon

Facebook Reality Labs（FRLR）早前分享了他们在沉浸式音频研究方面的最新进展，表示这项研究与Facebook的AR眼镜工作直接相关。团队的目标是将相关技术应用于AR头显中，使用户能够在嘈杂的环境中隔离人声，并感受来自周围虚拟世界的真实声音。为了提供这种体验，定制的头相关传输函数（HRTF）起着关键作用，但现有方法耗时且昂贵。 因此，FRLR团队正在研究一种可扩展的解决方案，可以根据耳朵照片生成精确的HRTF。 团队最近公开了一篇与此领域相关的论文。该论文探讨了头相关传输函数（HRTF）的预测性以及使用深度神经网络根据耳朵形状预测HRTF的方法。研究使用大规模数据集和三维点云耳朵表示进行了实验，并建立了两种不同的深度神经网络模型，分别是CNN Reg和UNet Reg。 实验结果显示，使用耳朵张量的深度学习模型可以实现最高的HRTF预测精度。未来的工作将包括使用感知损失函数和改进模型设计。

微软将在6月26日举办混合现实开发者大会-中国站，活动将通过哔哩哔哩直播间进行直播。参会者将有机会与微软工程师和项目经理交流，了解微软最新的混合现实技术，以及混合现实应用程序开发所需的技巧和经验。此外，参会者还可以与其他开发者建立联系。活动提供了注册报名通道，报名参会的开发者将有机会在大会结束后获得大会讲师的分享资料。 本次大会邀请了来自微软、Unity和境腾科技的讲师进行技术分享，内容涵盖了HoloLens、MRTK、Unity、Unreal、Azure等混合现实技术开发。主题包括混合现实和HoloLens概览、跨平台混合现实工具包MRTK-Unity开发概览、Unreal Engine对混合现实的支持、Unity 2021全新XR系统介绍、利用Azure空间定位点创建跨设备混合现实体验等。

Steam的"喜加一"活动再次来袭，这一次可以免费领取的是VR作品《Museum of Other Realities》。这款游戏原价70元，免费领取的截止时间为北京时间6月21日14:00。《Museum of Other Realities》是由MOR Museum Inc开发的VR博物馆体验，玩家可以独自欣赏一系列精美的沉浸式艺术作品，也可以邀请好友一起欣赏迷离幻醉的3D空间，身临其境地感受独特的色彩与构造之美。该作品支持Valve Index、Oculus Rift、HTC Vive、WMR以及Oculus Quest（通过Link或Air Link），根据Steam页面显示，目前112份评测给出了94%的特别好评。《Museum of Other Realities》原价70元，目前可以免费领取，截止时间为6月21日14:00。

传统的眼镜盒只是用于存储和保护眼镜，但如今苹果和Facebook等公司正在研发能够提供混合现实功能的眼镜设备，因此需要一种特殊的眼镜盒。索尼在最近的专利申请中提到了适用于集成显示眼镜的眼镜盒，该盒可提供增强现实、混合现实或虚拟现实体验。该眼镜盒包括一个外壳，用于存储眼镜并为其提供物理保护。外壳可以由金属或塑料等材料制成，还可以具有装饰性外层。眼镜盒还包括电池，可以为眼镜提供电源，电池可以从眼镜盒内充电或通过访问面板更换。此外，眼镜盒还配备了用户控制输入配置，类似传统游戏手柄的布置，可以向驱动眼镜显示器的计算系统提供输入。这种眼镜盒可以作为手柄，用户可以握持它作为控制器，并实现对眼镜显示器的控制和导航。索尼还提到眼镜的集成显示器可以是可拆卸的，以便清洁或更换。这项名为“Glasses case and system”的索尼专利申请最初于2020年11月提交，并最近由美国专利商标局公布。

美国陆军邀请微软工程师和其他员工参加为期一周的训练营，以帮助他们理解士兵在战场上的挑战以及设计出一款推广至成千上万士兵的混合现实头显。这是微软和美国陆军之间独特合作关系的体现，早前美国陆军委托微软生产基于HoloLens技术的军用混合现实头显，该头显允许士兵在烟雾和拐角之外看清环境，并利用全息图像进行训练。美国陆军计划在今年9月开始为士兵配备该头显。微软与美国陆军共同组成综合小组，从士兵反馈中不断改进了设备，并开发了数十个原型。IVAS采用HoloLens的混合现实技术，结合热成像、传感器、GPS和夜视能力，提高士兵的态势感知能力，并为其提供关键信息。该设备代表着美国陆军的一次范式转变，使士兵能够通过3D地图感知即将前往的地方，同时可以借助IVAS进行数字通信。该设备目前依然在测试中，在几年内快速进行了开发，具有重要的军事意义。根据新合同，微软将生产超过12万台头显，并延长五年的协议。

谷歌最新放弃的XR项目是AR测量工具Measure。Measure最初是2016年作为Tango独占内容推出的，可以通过识别长度或高度来测量物品。尽管Measure在大型无特征表面的表现稍有瑕疵，但在难以使用实物卷尺的情况下，它仍然非常有用。然而，根据Play Store的页面显示，谷歌已经不再支持Measure应用的更新和维护。这并不是谷歌第一次放弃XR项目，他们之前放弃了一系列项目，如360度拼接项目Jump、Daydream平台、VR创作工具Tilt Brush和沉浸式游览程序Expeditions等。谷歌的这种始乱终弃行为给人一种对新潮科技项目三分钟热度的印象，让人好奇他们将放弃的下一个新潮科技项目是什么。

游戏开发者Valve现在提供了购买索引（Index）配件的选项，这对于不小心损坏控制器或头显线缆的玩家来说是一个好消息。玩家可以在Steam上购买左手或右手控制器，价格为150美元，或者购买两个控制器的捆绑包，价格为280美元。此外，头显数据线的价格为130美元。需要注意的是，目前这些配件仅支持北美、欧洲和英国地区。有用户反馈，之前由于没有单独配件销售选项，他们可以向Valve申请退货授权进行免费修理或更换损坏的配件，而Valve一直对此相当宽容。然而，现在有了单独配件销售选项后，用户可以自行付费购买替换配件，但不清楚这是否会改变Valve对退货授权的政策。因此，建议出现配件损坏问题的玩家先联系Valve，看是否能通过退货授权获得免费维修或更换，如果不行再考虑自行购买新配件。

虚幻引擎（Unreal ）4.27版本将为XR（扩展现实和虚拟现实）开发人员提供一系列的内容和改进。其中包括对OpenXR插件的改进，增加了立体图层、启动屏幕和运动控制器可视化的支持。同时，重新设计了模板，使用OpenXR 7框架构建了全新的VRTemplate，成为所有VR项目的起点。VRTemplate包括传送移动的封装逻辑和常见的输入操作，如抓取和将项目附加到手部。目前，VRTemplate支持Quest 1和Quest 2、使用Oculus Link的Quest、Oculus Rift S、Valve Index、HTC Vive和Windows Mixed Reality等VR平台。此外，4.27版本还引入了基于眼动追踪的注视点渲染技术，通过降低周围视觉中的图像质量来提高设备性能，并提供了显著的GPU性能提升。此功能仅在采用DX12和支持VRS Tier 2的GPU的Windows平台上可用。最后，还改进了Collaborative Viewer Template模板，增加了多尺度支持和截面工具，并与Datasmith运行时集成。

苹果在今年的WWDC大会上发布了一项新技术Object Capture，用于捕获真实世界的对象。Unity与苹果密切合作，将Object Capture引入到其Companion-to-Editor工作流程中。Unity的AR Companion应用也将在今年下半年纳入Object Capture，使XR开发者能够扫描真实世界的对象并生成3D模型。Unity AR Companion应用提供了在编辑器之外创建和捕获对象的方法，帮助开发者将真实世界整合到数字体验中。 Object Capture项目展示了创作工具的一个趋势，即在特定硬件上结合Unity Editor使用Companion应用。这意味着用户可以根据特定硬件的功能最佳利用媒体内容。新技术还支持处理任何现有的照片集，为更广泛的受众打开了技术的大门。 在Object Capture功能中，用户可以通过Unity AR Companion应用拍摄对象照片，并进行处理生成模型。Unity支持多种不同的入口点，可以使用本地无线文件传输、Companion Resources Sync工作流程或本地图像目录等方式。 Unity团队在Object Capture模式的测试中发现，引导对象和照片别针对于帮助用户拍摄最佳图片非常有用。然而，由于没有追踪正在扫描的对象，如果对象移动，就需要重新放置引导对象和重置照片别针。团队认为这种AR可供性是AR作为教学技术的一个明显例子。 Unity表示，Object Capture带来了许多令人兴奋的可能性，可以为广大创作者提供更容易使用的摄影测量工具，同时也为非传统用户如策展人、建筑师、艺术家和设计师等开启了内容创作和管理的大门。Unity AR Companion应用将于今年秋天推出，期待用户能够带来更多惊喜。

苹果在2021年WWDC全球开发者大会上发布了新版ARKit 5、RealityKit 2、Live Text和Visual Look Up。ARKit是苹果在2017年推出的AR开发平台，新版ARKit 5引入了多项功能和改进，如可在更多城市放置Location Anchor定位锚和利用iPad Pro超宽摄像头中的人脸追踪功能。RealityKit框架专为增强现实量身定制，提供图像渲染、相机特效、动画、物理特效等功能，新版RealityKit 2带来了Object Capture对象捕捉、自定义着色器、自定义系统、动态asset和角色控制器等功能。此外，苹果还宣布了在iOS 15中提升苹果地图的AR功能，支持详细的立体街道信息和更多的地标导航。最后，苹果也推出了类似于Google Lens的Live Text和Visual Look Up功能，Live Text能够将手写文本或打印文本转换为数字文本，Visual Look Up可以自动搜索照片中的信息。尽管这些功能在一开始可能有限制，但可能为未来的苹果眼镜铺路。