由Shunsuke SAITO、Tomas Simon、Jason Saragih、Hanbyul Joo提出的、可从一张人物图像实现完整3D模型化的技术「PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization」的代码已在Github公开!CVPR 2020技术论文
※2020//06/16 – 已追加视频。
验证视频
解说视频
图像基础的3D人体形状估计的近期进展,是由深度神经网络所提供的表示能力大幅提升所推动的。当前方法在真实环境设置中已展示出其可能性,但无法以输入图像中常常存在的细节程度进行重建。我们认为,这一限制主要形成了两个相互冲突的要求。准确预测需要大的上下文,但准确预测也需要高分辨率。由于当前硬件的内存限制,以前的方法往往使用低分辨率图像作为输入来覆盖大的空间上下文,因此生成精度较低(或分辨率较低)的3D估计。通过构建可端到端训练的多级架构,我们解决了这一限制。在粗略级别上,系统以低分辨率观察整张图像,专注于整体推理。这为精细级别提供上下文,精细级别通过观察更高分辨率的图像来估计非常细致的几何形状。通过充分利用1k分辨率的输入图像,我们的方法大幅超越了现有的单张图像人体形状重建最先进技术。
#CVPR2020 被口头采纳、可从一张图像实现人体高分辨率完整3D化的研究「PIFuHD」代码已在github公开了!!!!
即使没有GPU,也可以自己上传图像并生成3D模型的Google Colab演示也已公开!#在家数字人https://t.co/w3yOwXvEXs pic.twitter.com/480uiD9ulp
— Shunsuke Saito (@psyth91) June 14, 2020
有趣的技术不断出现呢。
大家也请务必试试可以在Google Colab上运行的演示!
PIFuHD Demo – Colaboratory
使用方法解说视频(英语)
链接
PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
试用了可从一张图像实现人体完整3D化的「PIFuHD」。使用了图库照片中的人物进行测试。分辨率稍微低一些来尝试。也许是素材的原因,没有像演示那样顺利,但腿部之类还是能很好地3D化呢。 pic.twitter.com/z04NU8D1uX
— Hirokazu Yokohara (@Yokohara_h) June 15, 2020