Insider Insider
3dnchu 尚无浏览 2 分钟阅读

LiveActionAOV | 从实拍视频素材中利用 AI 输出深度、法线、位置、光流、蒙版、AO 等多种 AOV 通道的免费开源工具！已在 Github 上公开！

Leonardo Paolini 将从实拍视频素材中输出 AOV（Arbitrary Output Variables）的免费工具「LiveActionAOV」的 alpha 版（pre-v1）在 Github 上公开了！

LiveActionAOV

LiveActionAOV 是面向 VFX plate 的 AI 驱动型 AOV 通道生成器。
可从任意实拍 plate 生成深度、法线、位置、光流、蒙版、环境光遮蔽等 CG 级 AOV 通道，并以可直接在 Nuke 中使用的 sidecar EXR 格式输出。只需一个命令即可生成全部通道，且不会对原始 plate 做任何修改。无需再手工绘制深度。无需再等待 matchmove。也无需每年 500 美元的订阅。

生成内容

  • Z 深度（到摄像机的距离。可与 ZDefocus 原生配合）
  • N.x/N.y/N.z 表面法线s（摄像机坐标系，Unit-length，VFX convention）
  • P.x/P.y/P.z 位置（由深度计算）
  • 前向和后向光流（板分辨率像素 — 可直接使用 VectorBlur）
  • RGBA 形式的 hero matte（SAM 3 自动检测 + soft alpha 的微调）
  • 按概念分类的语义遮罩（人物、车辆、天空等）
  • 屏幕空间环境光遮蔽（由深度和法线生成）

技术规格

  • Sidecar EXR 输出，Nuke 原生通道命名
  • 面向 AI 模型的场景参考型 EXR 输入，带自动 display transform
  • 插件架构：使用 Python entry point 添加自定义模型
  • 默认可商用（MIT core license，按模型设有许可证限制）
  • 可在 1 块 NVIDIA GPU 上运行（已在 RTX 5090 上验证）

开发中使用的技术

  • Python, PyTorch, OpenImageIO, OpenColorIO
  • Depth Anything V2 / DepthCrafter
  • NormalCrafter / DSINE
  • SAM 3 + RVM / MatAnyone 2
  • RAFT optical flow

这看起来相当不错。
请务必查看一下！

链接

GitHub – lettidude/LiveActionAOV: AI-driven AOV pass generator for VFX plates — depth, normals, flow, mattes as Nuke-ready sidecar EXRs · GitHub

Screenshot of github.com