英伟达为低数据NeRF训练提出频率正则化和遮挡正则化
在3D计算机视觉和计算机图形学领域,由于能够呈现高保真度的新观点神经辐射场(NeRF)引起了极大的关注。然而,NeRF在稀疏输入的情况下容易过度拟合训练视图,并且难以合成新的视图,这被称为few-shot神经渲染问题。为了解决这个问题,英伟达和加利福尼亚大学洛杉矶分校提出了一种名为FreeNeRF的解决方案。该方法通过两个正则化项来稳定学习过程和惩罚导致floater的近camera密度场。其中一个正则化项是频率正则化,它在训练开始时避免了不稳定和易受影响的高频信号,并逐渐提供NeRF高频信息以避免过度平滑。另一个正则化项是遮挡正则化,它对camera附近的密度场进行惩罚。实验结果表明,FreeNeRF在多个数据集上优于现有的最先进方法,并且几乎没有额外的计算成本。这是首次尝试从频率角度解决few-shot神经渲染问题,并成功地提高了性能。