Tsinghua University、Tencent ARC Lab、Victoria University of Wellington的联合研究团队公开了「Pixal3D」！旨在针对输入图像实现“像素级忠实”的3D模型生成的Image-to-3D技术！

Pixal3D | Pixel-Aligned 3D Generation from Images

Pixal3D可从单张图像生成高精细3D资产。与使用注意力机制大致提取图像特征的传统方法不同，Pixal3D通过反向投影将像素特征显式转换到3D空间中，建立像素与3D空间之间的直接对应关系。这使其能够实现接近重建级别的精细度，生成具备细致形状和PBR纹理的结果。

• 以与输入图像视角一致的“Pixel-Aligned”方式进行3D生成
• 将像素信息逆投影到3D空间的Back-Projection技术
• 显式构建2D图像与3D形状的对应关系
• 实现比传统方法更高的输入图像忠实度
• 生成接近重建类的高精细形状
• 支持高质量PBR纹理生成
• 可自然补全未可见部分
• 支持基于多视角输入的3D生成
• 可生成对象分离的场景
• 已公开基于Trellis.2的改良版实现

3D生成模型的近期进展使得从图像到3D的合成质量迅速提升，并实现了更高分辨率的形状和更真实的外观。然而，生成的3D资产对输入图像在像素级上有多忠实的“保真度”仍然是主要瓶颈。我们认为，这一问题源于隐式的2D-3D对应关系。大多数3D原生生成模型会在标准空间中合成形状，并通过注意力注入图像线索，因此像素与3D的关联仍然模糊。为解决这一问题，我们受3D重建方法启发，提出了用于从图像生成高保真3D资产的像素对齐式3D生成范式“Pixal3D”。Pixal3D不是以标准姿态生成，而是以与输入视图对齐的像素对齐方式直接生成3D。为实现这一点，我们引入像素反向投影条件化方案，将多尺度图像特征显式提升到3D特征体中，从而建立清晰、无歧义的像素与3D对应关系。我们表明，Pixal3D不仅能够生成可扩展且高质量的3D资产，还能显著提高忠实度，使其接近重建同等的保真度水平。此外，Pixal3D通过聚合跨各视图的反向投影特征体，可以自然扩展到多视角生成。最后，我们展示像素对齐生成对场景合成也很有帮助，并提出了一个模块化流水线，可从图像生成高保真的对象分离3D场景。

感觉已经从过去那种只是“看起来差不多”的结果向前迈进了一步！Image-to-3D 会进入下一个阶段吗？
目前「Pixal3D」的论文、代码和演示都已公开，并正在收集反馈！
请务必看看！

链接

Pixal3D Project Page

Demo | huggingface

Github

论文

🚀🚀 Introducing Pixal3D (SIGGRAPH’26) — a new pixel-aligned image-to-3D generation paradigm for high-fidelity 3D asset creation.

Today’s Image-to-3D has become pretty good at producing plausible 3D assets. But plausibility is not enough. Fidelity is a hidden bottleneck.
❓A… pic.twitter.com/7F9emjmNzO

— Wang Zhao (@WangZhao_0849) May 12, 2026