公开了从单一生成视频生成高保真DGS（Dynamic Gaussian Surfels）的重建模型「Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels」项目页面！

Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels

视频生成模型因其能够生成真实且富有想象力的画面而备受关注。此外，人们观察到这些模型表现出很强的三维一致性，这大大提高了它们作为世界模拟器发挥作用的可能性。在这项研究中，我们介绍了Vidu4D，这是一种新型重建模型，旨在解决与非刚性和帧失真相关的挑战，并擅长从单一生成视频中准确重建4D（即连续3D）表征。这一能力对于创建在空间和时间上都保持一致的高保真虚拟内容至关重要。Vidu4D的核心是我们提出的DGS（Dynamic Gaussian Surfels）技术。DGS通过优化一个随时间变化的形变函数，将高斯曲面元（surfels）从静态状态转换为动态形变状态。借助这种转换，可以准确描绘随时间变化的运动和变形。为了保持与表面对齐的高斯曲面元的结构完整性，我们设计了基于连续形变场的形变状态几何正则化，用于估计法线。此外，通过学习高斯曲面元的旋转参数和缩放参数的精细化，显著缓解了形变过程中的纹理闪烁，并增强了对细粒度外观细节的捕捉。Vidu4D还包含一种新的初始化状态，为DGS形变场提供适当的起始点。将现有视频生成模型接入Vidu4D后，整个框架在外观和几何方面都展示了高保真的文本到4D生成能力。

Vidu4D是什么？

Vidu4D是一种从一段视频中制作出立体且运动逼真的3D影像的技术。以前也有把视频变成3D的方法，但常常会出现动作不够平滑或者变形的问题。
Vidu4D可以解决这些问题。使用这项技术时，视频中的运动能够被准确再现。比如，动物奔跑的样子，或者人跳跃的动作，都能更自然地呈现出来。

它是怎么运作的？

Vidu4D从视频中使用一种叫做「高斯曲面元」的特殊机制。surfels可以理解为表面的微小元素。通过高斯曲面元的方法将它们巧妙连接起来，从而再现视频中的运动。
这些高斯曲面元会随着时间推移而运动和变形，因此能够真实再现视频中角色或物体的动作。就像在移动黏土手工一样。

实现更好的外观

此外，这项技术还会考虑曲面元的质感和旋转，因此能够平滑表现细微的外观变化。例如，为了避免纹理闪烁，并让细节看起来更美观，进行了相应的处理。

这是项非常有意思的技术！如果今后能推出基于它的工具形态，应该会很令人期待。
「Vidu4D」的项目页面已经公开，但代码相关内容即将公开（Code will be released soon.）。

链接

Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels