介绍由 ByteDance、State Key Lab of CAD & CG、浙江大学的研究者等提出的名为“DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation”的技术。

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation

DreamSpace使用户能够通过文本提示对现实世界场景重建的外观进行个性化，并在 HMD 设备上提供沉浸式 VR 体验。
基于扩散的方法在 2D 媒体生成方面已经取得了显著成功。然而，在 XR/VR 等 3D 空间应用中，要在场景级网格纹理化上达到类似性能，仍然受到限制，这主要是由于 3D 几何的复杂性以及对沉浸式自由视点渲染的需求。本文提出了一种新的室内场景纹理化框架，可实现文本驱动的纹理生成，并具有迷人的细节和真实的空间一致性。其关键洞察是：先从场景的中心视点构想出风格化的 360{deg} 全景纹理，再通过修补和模仿技术将其传播到其余区域。为了确保生成的纹理与场景具有有意义的对齐，我们开发了一种采用双重纹理对齐的新型由粗到细的全景纹理生成方法，该方法同时考虑了捕获场景的几何和纹理线索。为了让纹理在杂乱的形状中传播时得以保留，我们设计了分离策略，在机密区域进行纹理修补，然后学习一个隐式模仿网络，在被遮挡的小结构区域中合成纹理。通过大量实验以及在真实室内场景中的沉浸式 VR 应用，证明了所生成纹理的高质量以及在 VR 头显上的出色体验。

在 VR 中游玩时，家庭房间如果也能通过这样的技术装饰成真实的房间，感觉会很有趣。
其他详细信息请查看项目页面。

链接

DreamSpace: Dreaming Your Room Space with Text-Driven Panoramic Texture Propagation