牛津大学 视觉几何学组的Zeren Jiang等人公开了一个运用视频生成AI从影像重建场景形状的技术方案「Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction」！

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

介绍Geo4D，这是一种为动态场景的单目3D重建而重新利用视频扩散模型的方法。Geo4D通过利用这类视频模型所捕捉到的强大动态先验，可以仅使用合成数据进行训练，同时以零样本方式很好地泛化到真实数据。Geo4D会预测多种互补的几何模态，即点、深度和光线图。借助一种新的多模态对齐算法，在推理时对这些模态以及多个滑动窗口进行对齐与融合，从而实现对长视频稳健而准确的4D重建。跨多个基准的大量实验表明，Geo4D显著优于最先进的视频深度估计方法，包括像MonST3R这样专为处理动态场景设计的最新方法。

• Geo4D：提出利用视频生成模型进行动态场景重建的框架
  利用市售的视频生成AI（例如视频扩散模型），重建具有运动的场景形状的创新方法
• 引入用于学习一致形状的“多模态几何表示”
  结合点图、深度图、光线图等多种形状数据，实现训练期间稳定的几何学习
• 测试时通过轻量级多模态对齐处理整合形状
  融合包含相似信息的多个几何表示，实现无抖动的4D重建
• 在视频深度估计中达到最先进（SOTA）性能
  此外，在相机运动（姿态估计）方面也表现出与传统方法同等的精度

如果这种技术不断进步，未来会不会出现能从实拍影像中自动生成包含运动在内的真实3D场景呢。看起来深度信息也能得到相当稳定的结果。很期待今后的发展。项目页面和代码也已经公开了，有兴趣的人请务必查看！

链接

Project Page

Github