迪士尼研究发表的 SIGGRAPH 2015 技术论文《Sampling Based Scene-Space Video Processing》:通过基于采样的框架,实现更高质量的降噪和视频加工!
Sampling Based Scene-Space Video Processing
概要
如果每个像素的深度信息和 3D 相机校准已知,就可以实现许多有吸引力的视频处理效果。然而,这类方法的成功在很大程度上依赖于这些“场景空间”信息的精度。我们提出了一种用于处理视频的新颖的、基于采样的框架,即使在姿态估计深度和相机参数存在不可避免误差的情况下,也能实现高质量的场景空间视频效果。与其试图改进显式的 3D 场景表示,我们方法的主要思想是利用近似场景信息的高度冗余性,因为大多数场景点在视频的许多帧中会多次可见。基于这一观察,我们提出了新的像素收集与滤波方法。收集步骤是通用的,而滤波步骤则针对具体应用;它会在场景空间中收集像素样本,同时从收集到的样本集合计算所需的输出视频。我们的方法易于并行化,并已在 GPU 上实现,能够充分利用大量视频数据,并使用标准台式电脑轻松实现 HD 视频的实用运行时间。我们的通用场景空间形式可以解释许多视频处理应用,例如总体降噪、去模糊、超分辨率、物体移除、计算快门功能,以及其他场景空间相机效果。我们展示了在轻松拍摄以及各种手持、移动、非受控环境中记录的具有挑战性的场景下,对压缩单目视频的结果。
※Google 翻译
真厉害啊。
因为还有深度信息,所以能很好地实现由景深产生的虚化效果。
真想用这个把手头积攒的老影像处理得更清晰!
链接
Disney Research » Sampling Based Scene Space Video Processing