Insider Insider
3dnchu 尚无浏览 2 分钟阅读

VRC Motion Studio | 可从文章和照片・视频生成并编辑面向 VRChat 的动作的本地 AI Unity 扩展

ねこおもち氏@neko_omochi_vrc )推出的 Unity 扩展「VRC Motion Studio」已发布,它可以通过本地 AI 从文章、照片和视频生成面向 VRChat 头像的表情动作、姿势和移动动作。

VRC Motion Studio

VRC Motion Studio 是一款面向 VRChat 头像的 AI 动作制作 Unity 扩展。
不仅可以从“挥动双手并大幅跳跃”之类的日语句子生成动作,还支持参考全身照片和视频来生成动作。AI 处理并非在云端进行,而是在 PC 上执行,能够完成从生成、编辑到导入 VRChat 头像的整个流程。

  • 从文本生成动作:可从日语句子生成多个动作候选。还收录了 6 个类别 35 句示例文
  • 从照片・视频生成:从最多 8 张全身照片或视频中读取动作并生成动作
  • 循环动作生成:生成可用于待机、舞蹈、行走等场景的无缝循环动作
  • 局部 AI 修正:指定时间范围或身体部位,仅对相应部分重新生成
  • IK 姿势编辑:支持通过手柄调整姿势以及手指张合
  • 表情编辑:使用表情时间线,创建可与眨眼和口型同步共存的表情动画
  • 导入到头像:可通过接近 VRChat Expression Menu 的圆形 UI 指定放置位置。也支持 Modular Avatar
  • 移动动作生成:指定主题,一括生成走路、跑步、下蹲等约 20 种移动动作
  • 多语言 UI:支持日语、英语、简体字中文、韩语

即使使用照片或视频,处理也会在 PC 内部完成,输入数据不会发送到外部。

生成的动作也可在 VRChat 以外使用

生成的动作采用 Unity 标准的 Humanoid AnimationClip(.anim),因此生成物本身也可用于 VRChat 以外的用途。
不过,自动导入到头像的功能仅适用于 VRChat SDK3。
另外,生成的动作、姿势、表情动画可用于个人和商业用途。除可用于自制头像、世界、视频、直播外,也允许附带在发布・销售的商品中。

在本地环境运行 AI

AI 处理不是在云服务上运行,而是在用户的 PC 上执行,因此不需要月费或额外账号注册。
初次设置时,会从 NVIDIA 和 Meta 的官方分发源下载约 22GB 的 AI 数据。
使用 AI 模型需要同意「NVIDIA Open Model License」和「Meta Llama 3 Community License」。此外,姿态估计使用了 MediaPipe。

运行环境

  • Windows 10 / 11(64bit)
  • 必须使用 NVIDIA GPU(VRAM 3GB 以上)
  • 推荐内存 32GB
  • 存储空余容量约 40GB
  • Unity 2022.3 系列
  • VRChat SDK3 Avatars
  • 初次设置时需要互联网连接
  • Python 3.13(若未安装则会自动安装)

看起来相当方便!
这种生成式 AI 往往在“生成之后怎么用”这一步意外地麻烦,所以
把实际面向 VRC 的工作流程也一起整理好了这一点很好呢
「VRC Motion Studio」现已在 BOOTH 上发售。
早期购买特典版为 1,000 日元,通常版为 2,000 日元。
请务必查看!

链接

VRC Motion Studio | BOOTH

Screenshot of booth.pm