介绍由 Yue Chen、Xingyu Chen、Anpei Chen、Gerard Pons-Moll、Yuliang Xiu 等人提出的 CVPR 2025 技术论文「Feat2GS: Probing Visual Foundation Models with Gaussian Splatting」。

[CVPR 2025] Feat2GS: Probing Visual Foundation Models with Gaussian Splatting

我们发布了 Feat2GS，这是一个用于研究视觉基础模型“纹理与几何认知”的统一框架。 新视角合成可作为 3D 评估的有效代理。

机制
随手拍摄的照片被输入视觉基础模型（VFM）以提取特征，并输入立体重建器以获得相对位姿。 像素级特征使用经过光度损失训练的轻量级读取层转换为 3D 高斯（3DGS）。 3DGS 参数被分组为几何与纹理，从而可以分别分析 VFM 中对几何／纹理的认知。 我们进行了广泛实验，以研究若干 VFM 的 3D 认知，并探讨了导致 3D 认知 VFM 的组成部分。 基于这些发现，我们开发了若干变体，并在多种数据集上达到了 SOTA。 这使 Feat2GS 可用于 VFM 的探测，以及作为用于 NVS 的简单而有效的基线。

视觉基础模型（VFM）究竟知道多少 3D？

以往工作需要 3D 数据来进行探测 → 收集成本高！#Feat2GS @CVPR 2025 – 我们的想法是从 VFM 特征中读出 3D 高斯，从而通过新视角合成来探测 3D。

🔗页面: https://t.co/ArpAbYKn33 pic.twitter.com/C4vYdppfJ9

— Yue Chen (@faneggchen) March 31, 2025

据说这是用于检查“AI 是否真的理解 3D 形状和质感”的技术，不过我不太清楚它的定位，所以接下来让 AI 来问问它未来的可能性。

作为未来的应用领域，预计会有以下发展：

① 作为 3D 生成 AI 的“实力检查工具”

→ 可作为衡量当前流行的“从文本生成 3D”或“从一张图像构建 3D”等 AI 性能的客观比较指标。

② 作为轻量级 3D 重建管线

→ 原本 3D 重建需要 LiDAR 或精确的相机信息，但如果使用 Feat2GS 这样的机制，就能更轻松地从简单的图像组生成 3D。

③ 作为 AI 训练的指南

→ 通过判断哪个模型“真正理解形状”以及“更重视纹理”，有助于设计更优秀的视觉 AI。

嗯……这确实是一项相当重要的技术。
Github 上已经公开了代码，Hugging Face 也提供了页面。详情请查看项目页面！

链接

Feat2GS: Probing Visual Foundation Models with Gaussian Splatting