由 Zhejiang University、Image Derivative Inc.、Ant Group 等提出的、可将动态3D场景以4K分辨率实时渲染的技术『4K4D』登场。

4K4D: Real-Time 4D View Synthesis at 4K Resolution

本论文以4K分辨率的动态3D场景的高保真且实时的视图合成为目标。近年来，若干有关动态视图合成的方法已经展现出令人印象深刻的渲染质量。然而，在渲染高分辨率图像时，其速度仍然存在限制。为克服这一问题，我们提出4K4D，这是一种支持硬件光栅化、能够实现前所未有渲染速度的四维点云表示。由于我们的表示构建在四维特征网格之上，点可以自然地被正则化，并且能够鲁棒地进行优化。此外，我们设计了一种新的混合外观模型，在保持效率的同时大幅提升渲染质量。进一步地，为了有效地从RGB视频中学习所提出的模型，我们开发了一种可微分的深度剥离算法。实验表明，使用RTX 4090 GPU时，我们的表示在1080p分辨率的DNA-Rendering数据集上可实现400 FPS以上的渲染，在4K分辨率的ENeRF-Outdoor数据集上可实现80 FPS的渲染，这比现有方法快30倍，并达到了最先进的渲染质量。

在项目页面上可以查看若干示例视频。
论文已经公开，代码等则标注为 Coming Soon。话说今后视频内容也会进入3D化的时代吗。

链接

4K4D