ねこおもち氏( @neko_omochi_vrc )推出的 Unity 扩展「VRC Motion Studio」已发布,它可以通过本地 AI 从文章、照片和视频生成面向 VRChat 头像的表情动作、姿势和移动动作。
VRC Motion Studio
VRC Motion Studio 是一款面向 VRChat 头像的 AI 动作制作 Unity 扩展。
不仅可以从“挥动双手并大幅跳跃”之类的日语句子生成动作,还支持参考全身照片和视频来生成动作。AI 处理并非在云端进行,而是在 PC 上执行,能够完成从生成、编辑到导入 VRChat 头像的整个流程。
- 从文本生成动作:可从日语句子生成多个动作候选。还收录了 6 个类别 35 句示例文
- 从照片・视频生成:从最多 8 张全身照片或视频中读取动作并生成动作
- 循环动作生成:生成可用于待机、舞蹈、行走等场景的无缝循环动作
- 局部 AI 修正:指定时间范围或身体部位,仅对相应部分重新生成
- IK 姿势编辑:支持通过手柄调整姿势以及手指张合
- 表情编辑:使用表情时间线,创建可与眨眼和口型同步共存的表情动画
- 导入到头像:可通过接近 VRChat Expression Menu 的圆形 UI 指定放置位置。也支持 Modular Avatar
- 移动动作生成:指定主题,一括生成走路、跑步、下蹲等约 20 种移动动作
- 多语言 UI:支持日语、英语、简体字中文、韩语
即使使用照片或视频,处理也会在 PC 内部完成,输入数据不会发送到外部。
生成的动作也可在 VRChat 以外使用
生成的动作采用 Unity 标准的 Humanoid AnimationClip(.anim),因此生成物本身也可用于 VRChat 以外的用途。
不过,自动导入到头像的功能仅适用于 VRChat SDK3。
另外,生成的动作、姿势、表情动画可用于个人和商业用途。除可用于自制头像、世界、视频、直播外,也允许附带在发布・销售的商品中。
在本地环境运行 AI
AI 处理不是在云服务上运行,而是在用户的 PC 上执行,因此不需要月费或额外账号注册。
初次设置时,会从 NVIDIA 和 Meta 的官方分发源下载约 22GB 的 AI 数据。
使用 AI 模型需要同意「NVIDIA Open Model License」和「Meta Llama 3 Community License」。此外,姿态估计使用了 MediaPipe。
运行环境
- Windows 10 / 11(64bit)
- 必须使用 NVIDIA GPU(VRAM 3GB 以上)
- 推荐内存 32GB
- 存储空余容量约 40GB
- Unity 2022.3 系列
- VRChat SDK3 Avatars
- 初次设置时需要互联网连接
- Python 3.13(若未安装则会自动安装)
看起来相当方便!
这种生成式 AI 往往在“生成之后怎么用”这一步意外地麻烦,所以
把实际面向 VRC 的工作流程也一起整理好了这一点很好呢
「VRC Motion Studio」现已在 BOOTH 上发售。
早期购买特典版为 1,000 日元,通常版为 2,000 日元。
请务必查看!
链接
VRC Motion Studio | BOOTH






