谷歌和康奈尔大学提出复杂运动场景单目视图的3D重建
计算机视觉已经能够产生高质量的静态3D场景的自由视点渲染,但如何合成移动场景呢?近年来,业界在空间和时间合成新视图方面取得了进展,使用新的时变神经体三维表示技术(如HyperNeRF和NSFF)可以对时空变化进行编码。然而,这些方法在处理动态场景时存在局限性。为解决这个问题,谷歌和康奈尔大学的研究人员提出了一种名为DynIBaR的新方法,可以扩展到长时间、无约束camera路径以及快速复杂对象运动的动态视频。该方法在保留体三维场景表示优势的同时,通过引入视图依赖效果,提高了渲染静态和动态场景内容的保真度。实验结果显示,该方法在渲染详细场景内容方面更加有效,并在动态场景基准上取得了显著改进。然而,该方法在处理大视角变化、快速运动小物体和多视图一致性方面仍存在局限性。