随着SIGGRAPH 2014的全面展开,本周将呈现令人惊叹的计算机图形论文和演示。微软研究院发表了一篇论文,展示了一种令人印象深刻的时间压缩处理技术,可以将跳跃的第一人称画面转换成流畅的“超高清”录像,非常适合像GoPro和Google Glass这样的广角头戴设备的记录。这项技术甚至可能适用于虚拟现实内容。
一个固定在头盔上的GoPro摄像机进行第一人称录制。
这篇论文由微软研究员Johannes Kopf,Michael F. Cohen和Richard Szeliski发表,详细介绍了这种利用复杂的视频处理技术确定摄像机在空间中的位置运动,构建部分完整的记录场景的3D模型,并最终构建起通过CG环境飞行的平滑摄像机路径,使用输入的录像进行纹理处理的技术:
在高加速度下,简单的帧子采样结合现有的视频稳定方法是行不通的,因为第一人称视频中存在的不规则相机抖动会被加剧。
我们的算法首先重建3D输入摄像机路径,以及每帧密集的代理几何体。然后,我们优化输出视频的新颖摄像机路径,使其流畅并经过接近输入相机的位置,同时确保虚拟摄像机的朝向在输入中可以很好地渲染。
接下来,我们计算每个输入帧的几何代理。这使我们能够从优化路径上的新颖视角渲染帧。
最后,通过为每个输出帧适当选择的源帧进行渲染、拼接和混合,我们生成了新颖的平滑超高清视频。我们展示了一些挑战性的视频结果,这些结果无法使用传统技术进行处理。
最终生成的录像与输入录像(即使使用了传统的稳定方法处理)相比要更易观看,并且令人迷幻。
上面是一段简短的解释视频。下面是更详细的技术解析,展示了超高清录像的实现方式。
由于该技术部分重建了被记录场景的3D版本,因此可以通过该技术使用户控制的摄像机实时飞越场景。这可能为使用Oculus Rift等VR头显观看超高清录像提供一种沉浸式体验;用户可以控制他们在视频中所关注的方向。当然,根据原始录制时相机的朝向,几何体中将会存在很大的间隙。虽然上面视频中使用的GoPro相机具有170度的视野,但这项技术可能适用于更宽的拍摄范围,甚至可能应用于完全球形视频。
该项目页面指出,研究团队正在“努力将我们的超高清算法作为Windows应用程序发布。请期待!”