由中国 Guangzhou Cyan Puppet Information Technology 推出的、利用 AI 的无标记全身动作捕捉解决方案「Cyanpuppets」预计将于 2023 年 9 月面向全球发布！

Cyanpuppets

Cyanpuppets 的个人版和专业版，即将在全球开始预约。
Cyanpuppets 自诩拥有最前沿的 AI 图像算法技术和实时渲染平台工具，并作为一家以卷积神经网络和深度神经网络算法为核心、为开发独特 AI 模型架构而设立的人工智能企业。这一架构能够实现虚拟世界与现实世界之间的协同互动。

通过利用自主研发的 CYAN.AI 平台与英伟达的 GPU 计算能力，实现了从 2D 视频到 3D 动作数据的转换。该平台具备生成包含面部、手指、全身在内的实时动作数据的功能，实现了空间中人体动作的三维自由度。为全球用户提供 AI 动作生成技术、虚拟交互技术、3D 动画制作工具、3D 空间预可视化技术。

截至目前，已累计为 Tencent Games、Bilibili、Perfect World、Kuaishou Technology、Tsinghua University、Peking University、Southern University of Scienceand Technology、Oriental TV、Mango Vision、China Electronics Group 等 100 家客户提供服务。

据说中文版已于 2 个月前在中国上线，且已有知名企业在使用该服务。

性能

CYAN.AI 的核心在于卷积神经网络（CNN）和深度神经网络（DNN）算法，并由动作捕捉功能平滑、图像识别中的多对象协作、空间检测与定位、重定向等其他各种算法补充。这些强大的无标记动作捕捉算法提供了高精度和高性能。

• 手指：21 点
• 身体：33 点
• 面部：140 点

• 帧率：30-50 FPS
• 延迟：≤0.1 秒
• 3D 地图：70 以上
• 骨骼点：208

• 最小四肢误差：1cm
• 最大四肢误差：5cm
• 平均四肢误差：<3cm

精度相当不错啊

骨骼系统

利用合成数据算法，开发出一种全新的骨骼系统，可匹配并映射 UE5 Metahuman、Unreal Skeleton Asset、Daz、CC、Iclone、Unity Avatar、VRM、MMD 等热门模型的骨骼系统。

3DmaxBiped、MayaHumanIK、MayaADV、DAZ、MMD、VRM、Mixamo 等骨骼系统也通过实时驱动支持，提供非常方便的自动重定向。

很多 Demo 在 UE5 中运行，据说是因为 Cyanpuppets 的投资机构希望迁移到 UE5，以便为腾讯提供超写实数字人物支持。Unity 将在预计于 9 月发布时获得支持。

接地感看起来也相当不错，不是吗？

据说 Cyanpuppets Studio 的 v1.29 大幅提升了手指和面部的捕捉精度。

一键导出 FBX

可随时录制 FBX 数据，只需点击按钮即可获取

简洁的软件界面

用户界面出奇地简洁。只需点击几次，即可执行录制、播放、暂停、快进、快退、提高帧率、降低帧率、平滑、导出 FBX 等操作。这样便能获得可与专业电影工作室品质相媲美的实时或离线动作数据。

支持 NVIDIA Inception、Intel® partner alliance、Unity Black Horse Program

即使使用 GeForce RTX 3060 之类的消费级显卡，也能实现超过 30 FPS 的流畅稳定性能，支持更低延迟的数据吞吐和图像合成。因此，仅凭 2 台 RGB 摄像头，就能实时获取面部、手指、四肢的全部数据，实现延迟仅 0.1 秒的超低延迟视觉动作捕捉。

运行环境

很多 Demo 都运行在搭载 Geforce RTX 3060 的笔记本电脑上，并基于 CUDA 计算完成运算。
建议使用 1080p 60fps 全局快门 RGB 摄像头，搭载 IMX 或 CMOS 芯片传感器，通过 USB3.0 连接

只要有符合一般游戏 PC 和运行条件的 2 台摄像头，应该就能正常运行吧
原本似乎是将 Azure Kinect DK 和 intel 的摄像头适配给中国客户，但由于当时是 30fps 且为滚动快门摄像头环境，快速动作时画面容易模糊，结果手指精度不足。
因此，上述条件的摄像头似乎必不可少。

价格区间

单次许可证使用费：$1
※只要不关闭软件电源，单次最多可使用 24 小时

总之，只要环境准备好了，似乎只需 1 美元就能使用。

环境啊……我连摄像头和三脚架都没有……

据说也会为这样的人准备包含摄像头、三脚架、许可证等在内的两个版本。
电脑当然还是得自己准备……

计划推出 2 个版本

Personal

$599 

1. 高速全局快门 RGB 摄像头 *2
2. 摄像头三脚架 *2
3. 数据线 *4
4. 校准工具 *2
5. 国际航空货运快递及包装箱费用
6. 90 天软件许可证

Enterprise

$899 

1. 高速全局快门 RGB 摄像头 *3
2. 摄像头三脚架 *3
3. 数据线 * 6
4. 校准工具 *2
5. 国际航空货运快递及包装箱费用
6. 90 天软件许可证

此外，如果能构建合适的商业模式，未来甚至打算取消每次 $1 的成本，实现免费化。

那么，「Cyanpuppets」面向全球的版本（英文版）预计将在 9 月下旬公开！
真想早点试试啊。请务必查看官方网站！

链接

CYANPUPPETS 2D 映像生成 3D 动作捕捉 实时引擎