Nweon

微软首席软件工程师麦克·切米斯查克（Mike Chemistruck）通过博文向开发者介绍了在HoloLens中添加音频的技巧和建议。通过为应用程序添加音频可以提高用户参与度和体验真实感。例如，为简单操作添加声音可以使用户明确系统已识别其输入，而通过启用空间音频可以增加体验真实感。首先，开发者需要在Unity项目中添加一个音频空间插件，其中建议使用Microsoft Spatializer。插件添加后，可以通过勾选Spatialize复选框启用空间音频，并设置音量衰减曲线。空间音频有助于用户区分多个声源的位置。另外，为了利用HoloLens 2的硬件加速功能，需要根据每个音频源应用效果，而不是使用音频混合器。最后，对于只提供音频的部分（如叙述者或背景音乐），建议禁用空间音频，以确保用户可以享受纯粹的声音。如果想了解更多关于在应用程序中添加空间音频的信息，可以参阅微软的相关文档和教程。

混合现实视频是分享VR游戏体验的一种方式，尤其是通过流媒体平台直播。这种视频将用户实时嵌入到视频流中，呈现第三人称视角下游戏的感觉。通常录制混合现实视频需要一台功能强大的PC，配备摄像头和诸如OBS等软件来混合影像流。然而，利用GitHub用户Fabio914的Reality Mixer应用程序，只需两台移动设备即可捕捉混合现实内容：一台Oculus Quest 2和一台苹果iPad。Reality Mixer项目基于Oculus MRC plugin for OBS，通过Wi-Fi将Quest会话流式传输到同一网络的PC，然后使用名为SwiftSocket的工具将MRC插件的信号重定向到iPad。该软件使用FFMPEG对视频流进行解码，并利用苹果ARKit的虚拟绿屏功能，可以从摄像头视图中删除除玩家之外的所有内容。开发者表示，项目尚未完成，也无法保证效果，目前只测试了《Beat Saber》。有兴趣的读者可以关注Reality Mixer的GitHub页面。

微软研究院最近提出了一种新的虚拟现实控制器，名为Haptic PIVOT。这种控制器可以实现与虚拟对象的逼真触觉交互。PIVOT是一种腕戴设备，包含一个触觉手柄，可根据需要在手上来回移动。触觉手柄可以模拟抓握物体时的顺应性、弹性和重量感，并具有接近现实世界的灵活度水平。使用PIVOT，用户可以感知虚拟苹果皮的质感、挤压虚拟水果，并用手把玩移动。此外，PIVOT还可以实现双手交互的触觉反馈，比如抓取篮子里的苹果。微软的研究团队已经发表了相关论文，并将在2020 ACM Symposium on User Interface Software and Technology (UIST)大会上介绍Haptic PIVOT。通过这种触觉控制器，虚拟现实和增强现实可以实现更真实的触觉体验，提高用户与虚拟对象的自然交互。

影创科技在2020世界VR产业大会上发布了其首款头手6DoF MR眼镜"鸿鹄"。鸿鹄搭载高通骁龙XR2平台，采用全自由度手势操作，为用户带来更本能、更真实的交互体验。鸿鹄是首批搭载骁龙XR2平台的混合现实设备之一，骁龙XR2是首个通过支持低时延摄像头透视实现真正MR体验的XR平台。影创科技集团董事长孙立认为，未来MR眼镜将成为下一代移动计算平台，而鸿鹄将是重要里程碑。高通公司XR业务中国区负责人郭鹏表示，骁龙XR2将开启一个全新的移动计算时代，希望鸿鹄能激发XR的无限可能，支持影创打造全新的XR体验。鸿鹄采用全自由度手势操作，利用深度学习等人工智能技术对手的骨骼关节点进行准确的真3D位置提取，为用户提供低延时、稳定准确的交互。鸿鹄还具备世界范围空间定位和头手6DoF追踪功能，通过创新性设计实现了稳定高精度的追踪定位功能。

苹果正在加大对LiDAR激光雷达技术的投入，该技术已成为iPhone 12家族的全新技术，尤其是iPhone 12 Pro和iPhone 12 Pro Max。LiDAR是激光探测与测距技术的缩写，它可以通过发射激光并接收反射信号来测量距离。LiDAR可以用于感测深度和提升手机摄像头性能，增强实境体验，并且可以在建筑装修、社交媒体和新闻等领域有广泛应用。苹果的LiDAR技术有望为将来推出的AR眼镜提供技术支持。此外，谷歌也曾尝试利用Project Tango推广类似的技术，但未能取得成功。而现在，苹果通过iPad Pro和iPhone 12 Pro系列成功普及了LiDAR技术。

Facebook于9月17日发布了Oculus Quest 2，并在同一时间开始预购。这款设备在尺寸、重量、响应速度和分辨率方面都优于初代Quest，而起售价仅为299美元。根据开发厂商的反馈，Quest 2的销售情况非常好，可能达到了Facebook首席执行官马克·扎克伯格所说的“我们生产的速度有多快，它卖出的速度就有多快”。随着Quest 2的陆续到货，用户在虚拟世界中的活动迅速增加，大大推动了Oculus Store的游戏应用销量。例如Fast Travel Games的高管安德鲁·朱利森证实，他们的两款作品《Apex Construct VR》和《The Curious Tale of the Stolen Pets》在Quest 2正式发货的第一天销量暴增了80倍。其他开发商也纷纷分享了他们喜悦的销售额增长，如Aldin Dynamics的《Waltz of the Wizard》销量增加了10倍，Cloudhead Games的《Pistol Whip》销量也增加了10倍。这些销量暴增的现象预示着更多的Quest游戏开发商将会获得丰厚的利润。根据开发商的销量暴增言论，Quest 2或许已经达到了初代Quest的销售速度。Facebook表示，他们将集中发展一体机产品，努力打造一个可持续生态系统，从而使硬件销量更加壮大，作品的营收也会不断增加。

研究人员最近提出了使用深度神经网络来检测和预测晕动症程度的方法。他们通过机器学习和深度学习方法训练了一个名为Convolutional Long Short-Term Memory的模型，并使用生理数据来进行实验。通过采集被试的心率、呼吸频率、心率变异性和皮肤电反应数据，研究人员发现在经历晕动症时的生理信号与正常基线存在显著差异。然后，他们比较了不同分类器在检测和预测未来晕动症程度方面的精确度。结果显示Convolutional Long Short-Term Memory分类器在检测当前晕动症程度方面的精确度达到97.44%，预测未来晕动症严重程度的精确度为87.38%。研究人员指出需要进行更多的研究，包括扩大被试人数和被试类型，以及针对不同类型的VR体验进行测试。如果能够精确地测量用户的晕动症程度并提前预测严重程度，系统就能及时采取适当的预防措施。

Facebook Reality Labs（FRL）邀请大学教师就VR社交进行研究，并提出研究建议。该计划旨在构建以人为中心、以负责任、以隐私为中心的下一个计算平台，并推动创新。Facebook设立了五个奖项，每个奖项的奖金高达75000美元，用于支付申请人所在大学的补助金。申请者需要提交申请书，截止日期为2020年10月29日，获奖名单将于2020年11月30日开始的那一周公布。该计划关注的主题领域包括理解3D沉浸式社交环境中的用户体验，鼓励研究人员提出与VR社交互动和社交用户体验主题相关的其他课题。申请者需要满足一定的资格要求，并提供相应的申请材料。

一项最新研究发现，通过高清电视、360度视频或沉浸式虚拟现实（VR）欣赏自然节目可以降低无聊和其他负面情绪，而且只有通过沉浸式VR与珊瑚礁场景交互的人才能感受到与大自然更亲近的积极情绪。这项研究由埃克塞特大学的研究人员进行，他们邀请96名被试观看一段描述工作情境的视频，然后将他们分成三组，分别观看高清电视、360度视频或沉浸式VR中的珊瑚礁场景。结果显示，这三种情况都能降低被试的负面情绪，但只有通过沉浸式VR能够提升积极情绪，并感受到与大自然更亲近的感觉。研究人员认为，这对于受疫情限制无法亲自接触自然的人们来说是一个积极的发现，虚拟现实可以帮助人们降低负面情绪并提升精神。此外，虚拟现实还可以帮助那些无法接触自然环境的人们提高幸福感，并鼓励更多的环保行为。

据日本媒体报道，苹果计划在2021年推出一款头显产品，并已向索尼下订单购买微型显示器。该微型显示器是由索尼生产的Micro OLED显示器，将用于苹果即将发布的“头戴式显示器”。目前还不清楚这款产品的具体类型，但有观点认为苹果可能首先发布虚拟现实（VR）设备，并直接与Facebook展开竞争。