慕尼黑工业大学和弗吉尼亚大学的研究者公开了用于重建不完整真实世界3D扫描数据空缺区域的技术方法「Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow」的信息！

Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow

我们提出了首个基于流匹配的方法「Seen2Scene」，用于场景补全和生成，直接利用不完整的真实世界3D扫描数据进行学习。不同于依赖完整（即合成）3D数据的传统方法，本方法引入了基于可见性的流匹配，通过显式遮蔽真实扫描数据中的未知区域，使其能够有效地从真实世界的不完整观测数据中学习。我们使用在稀疏网格中编码的截断符号距离场（TSDF）来表示3D场景，并采用稀疏Transformer，在遮蔽未知区域的同时高效建模复杂的场景结构。作为输入条件信号，我们采用3D布局框，因此本方法也可灵活适配文本、部分扫描等多种其他输入。Seen2Scene通过直接从真实世界的不完整3D扫描中学习，实现了在复杂且杂乱的真实环境中的逼真3D场景补全。实验表明，该模型能够生成首尾一致、完整且逼真的3D场景，并且在补全精度和生成质量方面优于基线方法。

我觉得这是一个相当有趣的技术。代码似乎还没有公开。详情请查看官方页面！

链接

📢Seen2Scene

Real-world 3D is incomplete, typically requiring training on synthetic scene data.@QTDSMQ introduces visibility-guided flow matching, enabling training on real partial scans for scan completion & text-to-3D scene generation!

Check it out: https://t.co/jqZ164QX0W pic.twitter.com/GV5Q4ZvBPj

— Angela Dai (@angelaqdai) March 31, 2026

Seen2Scene: Completing Realistic 3D Scenes with Visibility-Guided Flow