微软研究人员发布了一篇论文,详细介绍了一种适用于微软HoloLens增强现实头盔的记录实时“全息”视频的技术。这种高质量的捕捉可从任意角度查看,并通过网络进行流媒体传输。
微软的HoloLens头盔
虽然虚拟现实视频捕捉侧重于将用户置于全新场景中,但增强现实的独特能力是将用户的真实世界与数字元素结合起来。在增强现实中插入一个计算机生成的对象(比如一个立方体)非常简单,因为对象的新视图可以根据用户的移动而即时计算出来。然而,在增强现实中捕捉和回放现实场景要困难得多,因为场景的主体不仅需要从各个角度被捕捉到,还需要从捕捉空间的背景中提取出来,以便能够被逼真地移植到用户自己的环境中。
微软已经发布了一篇详细介绍这种技术的研究论文;他们称这是“首个端到端的高质量自由视点视频创建解决方案”,其中关于数据流的部分意味着内容可以通过网络向用户进行流媒体传输。该论文发表在ACM Transactions on Graphics杂志的第34卷第4期。摘要继续用精彩的技术术语说明:
我们的系统使用一组密集的RGB和红外摄像机记录表演,生成动态纹理表面,并将其压缩为可流媒体传输的3D视频格式。四项技术进步对高保真度和稳健性做出了贡献:多模态多视角RGB、红外和轮廓信息融合;自适应网格生成,由感知显著区域的自动检测引导;网格跟踪以创建时间上连续的子序列;将跟踪的纹理网格编码为MPEG视频流。定量实验证明了几何精度、纹理保真度和编码效率。我们发布了几个包含校准输入和处理结果的数据集,以促进未来的研究。
虽然运动捕捉系统多年来一直在做类似的事情,但大多数系统只捕捉表演者的动作,然后用于给数字模型添加动画。微软的技术本质上是同时捕捉表演和生成模型。
参见:新HoloLens视频展示了详细的内部和早期原型
用于拍摄的设置使用了106个RGB和红外摄像机。从3D点云的一组约270万个点开始。然后,这些点被组成了一个实体网格,经过算法清理以减少表面伪像,结果每帧由超过100万个三角形组成。与更简单区域相比,特定细节区域(如手和脸)保持了更高质量的水平,因为整个网格会以更可管理的三角形数量进行处理。在将纹理应用于网格之后,结果被压缩并编码为可流媒体传输的MPEG文件(其中一个示例以12 Mbps运行)。
该系统看起来非常强大,对各种捕捉情况(包括快速移动的对象、明亮的颜色、反射和薄织物)都能输出高质量的内容,尽管目前还不清楚需要多少人工后期处理才能实现这样的结果。虽然视频上看起来很不错,但还需要查看这些模型在沉浸式头盔中更近距离观察时的实际效果如何。
虽然所需的设置相当复杂,但结果确实令人印象深刻,并且可以产生适用于即将推出的增强现实头盔HoloLens的“全息”视频。
该技术的输出结果应同样适用于虚拟现实头盔,这使其成为捕捉沉浸式显示的实时表演的潜在有吸引力的方法。