由康奈尔大学公开了将视频中的要素分解的新技术论文「FactorMatte」。

FactorMatte: Redefining Video Matting for Re-Composition Tasks

FactorMatte会创造出一个物体“不可见”的反事实世界。

我们提出一种适合重组任务的反事实视频合成的因子抠像，作为视频抠像问题的一种替代性形式化。因子抠像的目标是将视频内容分离为独立组件，使每个组件都能可视化为在移除其他组件内容的场景中的反事实版本。我们表明，因子抠像问题很好地适用于一个更一般的贝叶斯框架，该框架考虑了层间复杂的条件交互。基于这一观察，我们提出了解决因子抠像问题的方法，即使面对存在水花、阴影、反射等复杂层间交互的影像，也能生成有用的分解。

由于本方法按视频进行学习，因此无需针对外部大规模数据集进行预训练，也不需要关于场景三维结构的知识。我们进行了广泛实验，表明我们的方法不仅能够分离具有复杂交互的场景，还能超越经典视频抠像、背景减除等现有任务的先进方法。此外，我们还在各种下游任务中证明了我们方法的优势。

解说视频

目前看起来质量相当不错。与现有技术的「Omnimatte」相比，似乎质量也高出不少。
非常期待正式公开。Github上的代码公开目前显示为coming soon.
其他详细信息请查看论文解说页面。

链接

FactorMatte: Redefining Video Matting for Re-Composition Tasks