通过一种新的技术，Adobe想要将普通的单目全景360度视频转化为更具沉浸感的3D体验，完整地呈现出深度信息，使用户能够像只有特殊体积相机才能实现的那样，改变物理视角。而所有这些只需要使用普通的360度相机装备。

Adobe研究部门负责人Gavin Miller在本周拉斯维加斯举行的全美广播协会展(NAB)上宣布了这一消息，并首次由Variety报道。这项新的软件技术旨在将六自由度（6-DoF）带到您普通的单目全景360度视频中，这意味着您不仅可以左右、上下观察，还可以自然地左右移动和前后移动头部，就像您真的身临其境一样。

根据Adobe的研究人员所说，给视频增加位置跟踪是通过一种新颖的变形算法完成的，该算法可以在单目全景视频中合成新的视角，并且在关键时刻保持每秒120帧的流畅性。因此，这种技术也可以用于稳定视频，对于那些希望消除那些对VR用户来说不太吸引人的抖动手持拍摄来说，这是一个有用的工具。然而，所有这一切都有一个主要的缺点：为了从单目全景视频中恢复出3D几何信息，摄像机必须处于移动状态。

以下是这项特殊技术的要点：

Adobe的研究人员在论文中报告，他们首先使用所谓的运动结构（SfM）算法计算摄像机运动并创建一个基本的3D重构。在从捕获的点中推断出3D几何之后，他们将视频的每一帧映射到一个立方体贴图的六个平面上，并在每个图像平面上运行标准的计算机视觉跟踪算法。由于将每一帧映射到立方体贴图会产生一些不可避免的伪影，他们通过使用大于45度的视场角（FOV）来生成重叠区域来处理这些问题。该文章头图展示了这些算法的实际运行情况。

图片提供：Adobe, Jingwei Huang, Zhili Chen, Duygu Ceylan, and Hailin Jin

这项技术目前还不是解决单目视频问题的3D万全之策。除了只能用于移动摄像机外，3D重建的质量还取决于合成视图与原始视图的距离。过快地进行大幅度移动可能导致不正常的结果。当自然现象如大面积无纹理区域、遮挡和照明变化出现时，也会产生重建点云中的严重噪声和3D效果中的“空洞”。在固定视点的演示中，您还会看到一些扭曲伪影，因为算法试图将合成帧与原始帧混合。

其他实现6-DoF VR视频的技术通常需要类似HypeVR的疯狂6k/60FPS光场相机、激光雷达装备或Lytro的巨型Immerge相机。虽然这些相机 undoubtedly会产生更高质量的3D效果，但它们是定制的，代价也异常昂贵。虽然可能还需要一段时间才能在Adobe产品中看到这项技术的应用，但能够用消费级360度相机制作出可以称为“真正”的3D VR视频的想法令人兴奋至极。