随着 ICCV 2023 一同发布、用于从单眼摄像头视频中跟踪人物动作的新技术「4D Humans: Reconstructing and Tracking Humans with Transformers」备受关注。
4D Humans: Reconstructing and Tracking Humans with Transformers
我们提出了一种方法，在给定任意野外视频时，能够对其中的人类进行联合三维重建，并随时间进行跟踪。这里左侧为输入视频，右侧为重建的人类，不使用时间平滑，并通过颜色表示跨时间跟踪的一致性。我们的方法在可见性差、极端截断和极端遮挡下，以及常规姿态和非同寻常姿态下，都能可靠工作。
我们提出了一种对人类进行重建并随时间跟踪的方法。本方法的核心是提出人体网格重建网络的完整“transformer化”版本。该网络 HMR 2.0 是最先进的技术，并展示了分析以往难以从单张图像中重建的异常姿态的能力。为了分析视频，我们将来自 HMR 2.0 的三维重建作为输入，送入一个在三维空间中运行的跟踪系统。这样可以处理多个人物，并在遮挡事件中保持身份一致性。我们的完整方法 4DHumans 在单目视频人物跟踪方面取得了最先进的结果。此外，我们证明了 HMR 2.0 在下游任务行为识别中是有效的，并且相较于以往基于姿态的行为识别方法取得了显著提升。
试用方法解说文章（日语）
如果想先试试看，可以参考以下投稿。
4D-Humansで、3Dモデル推定とトラッキングを行う | cedro-blog
4dhumansをgoogle colabで試してみた
各种试用投稿
由于代码也已公开
在 X 的时间线上已经能看到大家尝试使用 4D-Humans 的投稿了
4D-humans test #mocap pic.twitter.com/ukJsslmo7Q
— toyxyz (@toyxyz3) August 10, 2023
🦒4D-Humans colab: https://t.co/dQvmIqhBmd pic.twitter.com/UI0BsQpfX9
— camenduru (@camenduru) August 6, 2023
4D-Humansは、単眼画像から人物の３Dモデルを推定する最新技術です。
ブログ：https://t.co/3upStcXTuU pic.twitter.com/bvLq44Y95J
— cedro (@jun40vn) August 9, 2023
4D-humans test #mocap pic.twitter.com/hSgdmwxWHy
— toyxyz (@toyxyz3) August 10, 2023
有志者制作的 Blender 插件也已登场
以迅速将 AI 技术做成 Blender 插件而闻名的 Carlos Barreto 先生
也已经马上开发出了「CEB 4D Humans」插件
CEB 4D Humans 0.05
Made from: https://t.co/Bsf3R7GJbI
Blender addon available at: https://t.co/v57ZAmkWQr pic.twitter.com/Pb5EqWstEI— Carlos Barreto (@carlosedubarret) August 9, 2023
CEB 4D Humans 0.05
Available at: https://t.co/v57ZAmkWQr
and at https://t.co/Yh3aD10uIm pic.twitter.com/e1m6bHIKqD— Carlos Barreto (@carlosedubarret) August 8, 2023
能在 Blender 中完成全部流程似乎很不错呢
这个插件已向 Patreon 支持用户公开
希望今后采用这项技术的工具能越来越多。
而且也很期待利用过去的存档视频制作出的各种内容登场。
请务必查看官方页面！
链接
4D Humans 项目页面
Colab
Github Code
Super proud of our 4D Humans work that will appear at #ICCV2023!
With a simple "transformerized" design, without bells and whistles, we achieve improved precision and remarkable robustness for 3D human reconstruction!
Code, demo and models are available: https://t.co/eTbIxjcDke https://t.co/EYGUvtX9qi pic.twitter.com/ziaTYNtgMK
— Georgios Pavlakos (@geopavlakos) July 19, 2023