Nweon

动捕技术是XR沉浸式领域的关键技术之一，但高质量的动捕通常需要前往固定的物理位置的工作室。微软正在全球范围内建设混合现实捕获工作室，以支持用户创造出人物和表演的动态全息图。此外，尼康旗下的MRMC和XR内容制作工具供应商Dimension共同推出了一款卡车式动捕工作室产品：Polymotion Stage Truck。Polymotion Stage Truck是世界上首款车载三合一移动自由视角工作室，可以在世界任何地方拍摄自由视角视频、3D静止图像和沉浸式全息数字内容，为实现独特的沉浸式内容提供了新机会。Polymotion Stage Truck的关键特性是部署速度和精度，先进的液压系统扩展了拖车的空间，打造出一个46平方米的绿幕拍摄空间，并配备了多功能室、化妆空间、衣柜设施、演员休息室和预处理数据中心。该移动捕捉工作室将为体育、音乐、时装等领域带来虚拟娱乐和内容的全新形式，实时技术的发展将提高娱乐标准，创造出新的可能性。

移动交互解决方案开发商Crunchfish发布了一种名为XR Skeleton的手势控制技术。该技术利用标准的手机摄像头，能够检测和追踪每只手的21个关键点，从而实现精确和灵活的交互解决方案，例如操作虚拟对象或菜单系统。该技术旨在实现逼真的增强现实体验，并且能够支持各种手势操作，特别适用于AR眼镜。系统只需一个标准的RGB 2D摄像头，就能够提供21个点之间的绝对距离，解决方案还支持多个摄像头传感器，适用于AR眼镜、VR设备和移动智能手机。此外，XR Skeleton不仅可用于AR/VR中的裸手操纵虚拟对象，还提供了一种远程控制各种屏幕功能的新方法。Crunchfish称，他们通过组合21点注释的人手图像、绿屏、合成手模型和调整的神经网络训练了完整的骨骼手势算法，该技术比市场上其他硬件类解决方案更稳定和准确，是迄今为止他们最先进的手势控制产品。

映维网最近整理了一批新的AR/VR专利，共有21篇，其中包括了来自Magic Leap、Facebook、Microsoft、Apple、Google、Sony和Intel等公司的专利。这些专利涵盖了多个领域，如眼动追踪技术、液晶图案化、多层衍射目镜、动态调度系统、副链路选择、波束成形、头戴式显示器、虚拟对象对齐、红外照明模块、控制反射镜谐振频率、扫描镜系统、空间音频上混频、空间音频文件格式、基于智能手机的雷达系统、图像处理和文件生成装置等。这些专利展示了在AR/VR领域中的创新技术和解决方案，对于推动XR技术的发展具有重要意义。

根据映维网9月11日的报道，苹果正在为其XR设备开发一种全新的音频格式，类似于ARKit的3D模型。这种音频格式将允许开发者更轻松地将声音放置在穿戴苹果眼镜的用户周围，包括在移动中的情况。另外，这种音频格式可能是基于与皮克斯的合作开发的。除了努力提升苹果眼镜的音频效果，苹果还公布了两份与沉浸式音频相关的专利申请。苹果希望构建一种类似于MP3或AAC的音频格式，成为XR设备的标准格式。该格式能够合并AR所需的额外空间信息，并整合相关的空间音频效果。此前，苹果已与皮克斯合作开发了一种名为USDZ的格式，用于在用户周围的三维空间中放置音频。苹果还提出了一种名为“File Format For Spatial Audio”的专利申请，旨在为增强现实、虚拟现实和混合现实应用中的三维音效创造一种空间音频格式。苹果还探索了一种称为Spatial Bed的多声道音频内容，用于生成新的空间音频对象。该格式可以在XR设备中应用，不仅仅局限于左右位置，而是考虑了球体布置方案。

育碧今天发布了一款名为《巴黎圣母院：回溯时光》的虚拟现实作品。这款免费的沉浸式体验可以在Steam和Oculus Rift Store上获取到。据介绍，游戏是基于《刺客信条：大革命》的模型打造而成的，玩家可以从多个角度参观游览巴黎圣母院，并且还可以乘坐热气球俯瞰18世纪的巴黎。同时，游戏中还有著名的卡瓦勒-科尔管风琴演奏巴赫的名曲。这款作品在2019年世界遗产日亮相，并被选入SXSW Virtual Cinema的2020年精选作品集。需要注意的是，虽然在Steam上未明确标注为VR作品且没有显示支持虚拟现实头显。

法国游戏开发公司育碧（Ubisoft）日前宣布将于10月28日发行全新的VR作品《AGOS: A Game of Space》。这款游戏是一款专为虚拟现实打造的太空模拟器，将在Oculus PC和Steam平台上推出。游戏的背景设定是玩家扮演一名人工智能，指导一群幸存者在8个恒星系统中寻找宜居星球，玩家需要定制探针并应对各种太空危险。尽管育碧在过去的VR游戏中的表现并不出色，但他们仍然积极拓展虚拟现实领域，并发布了多款相关游戏。《AGOS》或许是育碧认识到在当前市场环境下制作多人VR游戏的风险，因此选择制作一款单人游戏。

《Far Cry VR: Dive Into Insanity》是育碧与Zero Latency VR合作开发的一款全新线下VR街机作品。这款游戏将于2021年登陆Zero Latency VR的街机店，并可支持多达八位玩家。游戏将把玩家带回《孤岛惊魂3》的舞台洛克群岛，在这个小岛上玩家将需要探索并为生存而战。这次合作是育碧与Zero Latency VR之间的合作，不清楚是否属于授权还是更深层次的设计合作。《Far Cry VR: Dive Into Insanity》是一款全新的3D VR体验，具体内容目前官方尚未公布。这个消息比较有趣，因为在新冠疫情的影响下，线下VR行业受到了打击，但Zero Latency VR似乎对未来有着较大的信心。另外，育碧旗下还有其他基于育碧IP的VR游戏体验，而且在2015年育碧就已经开发了一些针对《孤岛惊魂3》的VR作品原型，所以这款新作的期待度也不低。

Facebook Reality Labs的首席科学家Michael Abrash在2020年计算机视觉和模式识别大会上介绍了团队的手部追踪研究进展。亚伯拉什展示了优化的手部追踪功能，并表示使用单一RGB摄像头和神经网络来预测手部姿态已成为热门研究课题。Facebook Reality Labs提出了用于驱动虚拟现实和增强现实体验的实时手部追踪系统，利用四个鱼眼单色摄像头生成精确和低抖动的三维手部。团队设计了手部检测和关键点估计网络，并引入了追踪检测方法，以降低计算成本并提高平滑度。研究使用了产生ground truth数据的半自动机制，并使用单色摄像头来驱动手部追踪系统。研究小组还设计了一个创新的半自动解决方案来标记包围盒，并使用通用、校准和扫描方法来描述默认的手部模型。目前系统在复杂的手-手或手-对象交互以及不常见的手部视图方面仍存在局限性，但研究团队将继续提高追踪系统的精确性和鲁棒性。

根据映维网的报道，根据一份Geekbench跑分信息，HTC似乎为其VR一体机Vive Focus系列准备了新的迭代。Geekbench显示，新版本的Vive Focus采用了高通骁龙XR2芯片，据称基于Android 10。相比于骁龙XR1平台，骁龙865衍生产品XR2在GPU/CPU性能、视频带宽和AI性能方面都有显著的性能改进，分别达到了骁龙835衍生产品XR1的两倍、四倍和11倍。骁龙XR2还是首个可以同时支持七个并发摄像头和一个专用计算视觉处理器的产品。HTC早在2017年底就发布了支持内向外定位的Vive Focus VR一体机，2018年初上市，配备了3DoF控制器；随后在2019年3月，HTC发布了Vive Focus Plus，配备了采用超声波追踪的6DoF控制器。

数字王国是一家提供视觉特效和虚拟现实技术服务的公司，最近发布了面部捕捉系统Masquerade 2.0，并开始将其应用于游戏、剧集和商业广告创作。该技术此前已经在《复仇者联盟3：无限战争》和《复仇者联盟4：终局之战》中的“灭霸”角色上得到应用。Masquerade 2.0利用机器学习和训练数据，具备在不限制演员移动的前提下捕捉面部细节的能力，包括嘴唇形状变化和眼部运动等。它可以丰富游戏、剧集和商业广告的情感表现。相比传统动画处理需要花费数千小时的单一照片写实级数字角色创作，Masquerade 2.0能够大幅缩短时间成本，甚至可以达到几个月完成的效果。该技术已经成功应用于制作次世代游戏作品，视效艺术家以十倍效率完成了超过50个小时的游戏画面。数字王国的CEO表示，公司希望将好莱坞力量注入中国市场，并逐步形成一个以创造卓越感官体验为中心的制作中心，推动本土作品与国际接轨。