公开了融合视频扩散模型的运动知识与骨骼式动画可控性的框架「AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models」的项目页面。

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models

我们提出了 AnimaX，这是一种前馈式 3D 动画框架，旨在桥接视频扩散模型的运动先验与基于骨架动画的可控结构。传统的运动合成方法要么受限于固定的骨架拓扑，要么需要在高维变形空间中进行代价高昂的优化。相比之下，AnimaX 能够将基于视频的运动知识有效迁移到 3D 领域，支持具有任意骨架的多种多关节网格。我们的方法将 3D 运动表示为多视角、多帧的 2D 姿态图，并以模板渲染和文本运动提示为条件，实现视频与姿态的联合扩散。为了保证视频与姿态序列之间在空间和时间上的一致性，我们引入了共享位置编码和考虑模态的嵌入，将视频先验有效迁移到运动生成任务中。得到的多视角姿态序列会被三角测量为 3D 关节位置，并通过逆运动学转换为网格动画。AnimaX 采用新整理的数据集进行训练，该数据集包含 160,000 条已绑定的序列，在 VBench 上的泛化能力、运动保真度和效率方面都取得了最先进的结果，为类别无关的 3D 动画提供了可扩展的解决方案。

• 从文本描述的动作和模板生成
• 同时生成多视角 2D 姿态图和 RGB 视频
• 通过逆运动学进行 3D 骨架动画化
• 类别无关：支持人形、动物、机械、家具
• 高精度×高速：使用已训练模型进行前馈处理，可在数分钟内生成
• 大规模数据训练：使用约 16 万条带绑定的运动数据arxiv.org

简单来说，大概就是“将生成视频的 AI 应用于自动生成 3D 角色动作的技术”吧。
我觉得这是个相当不错的思路。Github 那边显示 Coming Soon。很期待公开。

链接

AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models