SpikeGS: 基于脉冲摄像头的高速三维高斯溅射模型与场景重建探索
传统摄像头捕获高速运动场景会导致模糊,限制了3D重建的有效性。为了解决这个问题,研究人员尝试将3D高斯溅射(3DGS)引入脉冲摄像头,构建了SpikeGS模型。该模型通过训练从连续的Spike流到瞬时成像和类曝光成像的映射关系,提供了三维高斯溅射作为密集和连续的视角线索。研究人员还引入了基于Spike的3D渲染数据集进行验证,证明所提出的方法具有高质量的新视角渲染,显示了脉冲摄像头在建模3D场景方面的潜力。
此外,研究人员还介绍了基于脉冲摄像头的三维高斯溅射模型的优势。与传统的隐式建模方法不同,3DGS通过一系列三维高斯函数显式表示场景,并利用脉冲摄像头的高时间分辨率进行优化。研究人员相信脉冲摄像头在3D场景重建方面具有巨大潜力。
总的来说,SpikeGS模型提供了一种轻量级的自监督方法,能够高效地从脉冲中恢复图像,提高渲染质量。实验证明了SpikeGS在合成数据集和真实数据集上具有优越的三维场景重建能力。