用于从文本生成最适合的人物3D动作的技术「MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model」的论文和代码已经公开。
MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model
人体动作建模对现代许多图形应用而言都很重要，通常需要专业技能。因此，近年来的动作生成方法可以直接生成以自然语言为条件的人物动作，从而消除了新手的技能门槛。然而，实现以各种文本为输入的多样且精细的动作生成，仍然很困难。为此，我们提出了 MotionDiffuse，这是首个使用扩散模型的文本驱动动作生成框架，并展示了其相较于现有方法的一些理想特性。
1) 概率性映射 MotionDiffuse 不是采用确定性的语言-动作映射，而是通过一系列注入了变化的去噪步骤来生成动作。
2) 逼真的合成 擅长建模复杂的数据分布，并生成生动的动作序列。
3) 多层次可操作性。支持对身体部位的细粒度指令，以及通过带有时间差的文本合成任意长度的动作。实验表明，MotionDiffuse 在文本驱动动作生成和动作条件动作生成方面，性能远超现有 SoTA 方法。此外，定性分析也证明了 MotionDiffuse 在用于全面动作生成时具有可控性。
这类动作相关技术也在不断涌现。
这项技术的论文和 GitHub 代码都已公开。希望能尽快集成到工具中啊。