来自埃及的室内・建筑设计师 Shehab Mekky 先生的 JELLY FISH STUDIO，发布了可将 Blender 场景转换为 3D Gaussian Splat 的插件「SplatGen」！
SplatGen
SplatGen 是由以 JELLY FISH STUDIO 名义活动的室内・建筑设计师Shehab Mekky 先生开发的、可从 Blender 场景生成用于 3D Gaussian Splatting（3DGS）的数据集的 Blender 插件。
在准备好的 Blender 场景中配置多个摄像机，并基于从各个视角渲染的图像和深度信息等构建 3DGS 用数据集。
高级版SplatGen Pro还支持使用 NVIDIA CUDA GPU 在本地环境中进行 Splat 训练，并且无需离开 Blender 即可完成从确认训练结果到输出为 PLY・SOG 格式。
主要工作流程
在 SplatGen 中，可以按照以下流程从 Blender 场景生成 Gaussian Splat。
- 放置摄像机
- 从视图添加摄像机
- 从面生成多个摄像机
- 也支持可复用的摄像机 Rig
- 确认摄像机覆盖范围
- 验证各摄像机对场景的覆盖程度
- 以颜色区分显示覆盖范围
- 构建数据集
- 从各摄像机渲染场景
- RGB 图像
- Mask
- Metric Depth
- Surface Normal
- Point Cloud
- 生成 COLMAP 格式等数据
- 训练 Gaussian Splat（Pro）
- 使用 CUDA 在 Blender 内进行本地训练
- Preset
- Live Preview
- Checkpoint
- 支持 Pause / Recovery 等
- 在 Blender 中确认结果（Pro）
- 实时显示已训练的 Gaussian Splat
- 支持 Gaussian / Rings / Centers 显示
- 以 PLY / SOG 格式输出（Pro）
- 通用的 Gaussian Splat PLY
- 可输出与 SuperSplat 兼容的 SOG 格式
导出的数据可以导入到SuperSplat等工具中，用于编辑、优化以及在网页上显示等。
从 Blender 的渲染结果构建 3DGS
SplatGen 不仅仅是简单的 Geometry Ray Cast，而是利用渲染得到的 RGB 和 Metric Depth 来构建 3D 点。
通过根据每个像素的颜色、深度以及摄像机位置求出 3D 空间中的位置，能够将渲染中出现的细微轮廓等也反映到数据中。
官方还说明了，对于 Hair、Particle、Evaluated Effect 等仅以 Geometry 为对象的 Ray Cast 难以拾取的要素，使用渲染后的 Depth Pass 具有优势。
Standard 与 Pro
SplatGen Standard 可以创建摄像机、确认覆盖范围，并构建包含 RGB・Depth・Mask・Point Cloud 等内容的 3DGS 训练数据集。SplatGen Pro 除了 Standard 的功能外，还可使用：
- 使用 NVIDIA CUDA GPU 进行本地 Splat 训练
- 训练中的预览
- Preset / Checkpoint / Pause / Recovery
- Blender 内的 Splat Viewer
- PLY 输出
- SuperSplat 兼容的 SOG 输出
等功能。
也可以将 Standard 中创建的数据集交给外部训练工具。
运行环境
官方文档的 SplatGen 5.2 中，介绍了以下环境。
- Windows 10 / 11 64bit
- SplatGen Pro 5.2：Blender 5.2
- Pro 中的训练：NVIDIA CUDA 支持的 GPU
- VRAM 6GB 以上
- 推荐 VRAM 8～12GB 以上
- 8GB 以上的可用存储空间
- 使用 Pro Runtime 需要互联网连接
构建数据集本身不需要 CUDA。
作者是室内・建筑设计师
开发者Shehab Mekky 先生是一位以埃及 New Cairo 为据点、以JELLY FISH STUDIO名义活动的室内・建筑设计师。
他在 Behance 上以「Interior Design, Architecture, Landscape Design」为专业领域，公开了许多使用 Blender 和 3ds Max 等制作的室内・建筑可视化作品。
价格
- Standard：$1
官方网站上被介绍为免费版，但似乎不是？促销价格是 $0.33 - Pro：$25
Pro 还设置了发布时的限量价格 $8
SplatGen – Superhive (formerly Blender Market)
把在 Blender 中完成的场景带到另一种实时环境中的这种思路
今后这种流程大概会越来越多
顺便一提，从 Blender 到 3DGS 的方法其实早就已经存在了……
可从 Blender 生成 3DGS 的相关工具
除了 SplatGen 之外，也存在一些可以从 Blender 场景生成 3DGS，或创建训练用数据集的工具。
- 3DGS Render by KIRI Engine
可在 Blender 中加载、编辑和渲染 3D Gaussian Splat 的插件。从 v3.0 开始也支持将 Mesh 转换为 3DGS。
还支持基于 Mesh 的顶点・表面信息直接转换为 3DGS，
可以用与通过多视角渲染进行学习的 SplatGen 不同的方式完成 3DGS 化。 - Splatman
可从 Blender 场景生成用于 Gaussian Splatting 和 NeRF 的多视角图像与摄像机信息等的插件。 - Camera Array Tool
在 Blender 场景中布置大量摄像机并生成多视角图像。可用于借助 Postshot 等制作 3DGS 生成素材。 - Splats
可从 Blender 场景生成面向 Gaussian Splatting 的 Multi-view Training Data 的免费插件。 - Gaussian Splat Generator
从 Blender 场景生成 COLMAP 格式数据集，并协助使用 LichtFeld Studio 生成 Gaussian Splat 的开源插件。
像这样将 Blender 场景转为 3DGS 的方法已经出现了几种，不过
SplatGen Pro 可以把从数据集生成到使用 CUDA 的训练
以及在 Blender 中确认、PLY・SOG 输出统一处理这一点很有特点。
开发者是室内设计师，
过去还公开表示曾使用 Claude 修改过 Blender 插件，
因此也很在意 SplatGen 的开发是否也用了 AI 编程呢！
像这种「艺术家自己使用 AI 制作自己想要的工具」的潮流，
今后大概也会进一步增加吧。
「SplatGen」正在 Superhive 发售中！请务必去看看！
链接
SplatGen – Superhive (formerly Blender Market)
