由 Stability AI 推出的图像生成 AI「Stable Diffusion」正在席卷而来。由于这项 AI 技术已可在各种环境中使用,因此我想简单介绍一下。
※2022/09/19 – 补充 Blender 插件「Dream Textures」
什么是 Stable Diffusion
这是 Stability AI 发布的图像生成 AI「Stable Diffusion」,模型以 Creative ML OpenRAIL-M 许可证发布,其特点是也可以用于商业用途。在自己的 PC 上运行需要大量显存和 GPU 性能。
有从文本生成图像的「text2img」,以及从简单图像生成图像的「img2img」等。
关于它是通过怎样的技术生成的,请查看这里的博客。
Stable Diffusion with 🧨 Diffusers
在浏览器中使用
可在浏览器中运行的工具不需要 PC 性能,只要有互联网连接环境就可以使用。
Stable Diffusion Demo
如果想先免费试用,就从这里开始。可以从文本生成图像。根据服务器拥堵情况,生成可能会花一些时间,请注意。
Stable Diffusion – a Hugging Face Space by stabilityai
使用方法解说网站
Diffuse The Rest
同样,这也是一个可以免费试用 img2img 的演示页面。
Diffuse The Rest – a Hugging Face Space by huggingface
使用方法解说网站
DreamStudio
Stability AI 官方提供的网页服务。
提供了易于理解的界面。注册时作为试用可免费生成约 200 次左右,之后则为付费。
使用方法解说网站
Memeplex
这是一个支持日语、可轻松使用的 Web 应用。需要用 Google 账号登录。
使用方法解说网站
TrinArt とりんさまアート
这是 AI のべりすと 的 WEB 服务,据说「とりんさま」会根据题目为你绘制插图。
在手机应用中使用
与浏览器中可实现的方式不同,由于可以通过应用访问,因此使用起来很方便。
お絵描きばりぐっどくん
只需在 LINE 中添加好友即可使用,相当方便。可以输入日语或英语。
每天可生成的张数有限制
AIピカソ
可在 iOS 应用中免费轻松使用。
虽然每天可生成的张数有限,但据说通过广告展示即使超额也可以继续执行。
AI绘画应用「AIピカソ」已发布🎉
输入文字,AI 就会生成图像的移动应用!
而且如果画出草图,AI 还会画出你想要的画或照片✏️请一定试试看——如果能帮忙扩散我会很感激😭
下载地址这里 https://t.co/vmv8KoWnRF pic.twitter.com/YI1GFQET52
— Toshiki Tomihira (@tommy19970714) August 31, 2022
已在之前的文章中介绍过
在本地环境中轻松使用
帮助构建本地环境的应用等也越来越多了。
NMKD Stable Diffusion
个人很推荐的应用。导入也很方便。拥有 Windows+NvidiaGPU 的朋友请务必试试
NMKD Stable Diffusion GUI – AI Image Generator by N00MKRAD
使用方法解说网站
- 可在 Windows 上轻松安装免费图像生成 AI「Stable Diffusion」的「NMKD Stable Diffusion GUI」使用方法汇总,咒语设置和图像生成技巧一看就懂 – GIGAZINE
- NMKD Stable Diffusion GUI 1.3.0 的新功能・导入/更新方法 | 情报之海中遨游
Stable Diffusion GRisk GUI
这也是一款可在本地运行的应用。导入也很简单,推荐
Stable Diffusion GRisk GUI 0.1 by GRisk
使用方法解说网站
Artroom Stable Diffusion
据说只要一路点击就能安装到 Windows 环境中
GitHub – artmamedov/artroom-stable-diffusion
使用方法解说网站
在 Blender 中使用
可在 Blender 的工具面板上轻松准备纹理的插件
CEB Stable Diffusion
由 CEB Studios(Carlos Barreto 氏)制作的 Blender 插件
该插件仅可在 Windows 上使用。据说在显存低于 4GB 的 GPU 上可能无法运行。另外,学习模型需要另行下载。
免费下载代码:8g5x1nh
Dream Textures
由 Antonio Freyre 氏制作的 Blender 插件
这个已在另一篇文章中介绍过
Dream Textures – 利用 Stable Diffusion 的 AI 图像生成技术,在 Blender 中可轻松从文本提示生成纹理和图像素材的免费插件!已在 Github 公开!
carson-katri/dream-textures: Stable Diffusion built-in to the Blender shader editor
在 Photoshop 中使用
可在 Photoshop 的面板上轻松进行图像生成的插件
The Stable Diffusion Photoshop Plugin
由 Christian Cantrell 氏制作的 Photoshop 插件
可以从 Photoshop 上的面板输入提示词进行图像生成。
alpaca
可进行用户注册以获取私人测试版。
alpaca – Humans 🤝 AI Models for Image generation
在 CLIP STUDIO PAINT 中使用
也出现了适用于クリスタ的插件。
NekoDraw: CLIP STUDIO PAINT Filter Plugin
由夏猫氏制作的插件已开源发布。
据说需要超过 12GB 的内存(RAM)以及搭载 GeForce RTX 3060 及以后、8GB 以上 VRAM 的 GPU。
在クリスタ里跑 Stable Diffusion ! text2img 篇! pic.twitter.com/r86W8rfSc3
— 夏猫💕 (@6jz) September 3, 2022
睡前先把在クリスタ里实现 img2img 做好了,就先放这些 pic.twitter.com/kdjO34BXMB
— 夏猫💕 (@6jz) September 5, 2022
使用方法解说网站
在 GIMP 中使用
Gimp 用插件也已登场
gimp-stable-diffusion
BlueTurtleAI 制作的面向 GIMP 的插件已在 Github 上开源。
#stablediffusion 现在可以在 #gimp 中使用了!插件和 colab notebook 可在 https://t.co/69Vt4UWvXe
Gimp 2.10,后端修改自 @pharmapsychotic 的 notebook。请阅读线程以了解更多细节。@GIMP_Official @StableDiffusion @DigThatData #ai #aiart #aiartcommunity pic.twitter.com/KTpO5QxGTR
— BlueTurtleAI (@BlueTurtleAI) September 12, 2022
GitHub – blueturtleai/gimp-stable-diffusion
在 Krita 中使用
Krita 用插件也已登场
Stable Diffusion Krita Plugin
面向 Krita 的插件已在 Github 上开源。
GitHub – sddebz/stable-diffusion-krita-plugin
使用方法解说网站
在本地环境中正式构建并使用
最后……也有几种办法可以在自己的环境中构建。
前面介绍的工具中也包含了一部分简化导入流程的工具。
如果完全自行构建环境,似乎可以使用各种派生版本、进行改造,自由度也会提高。
也可以利用 Google Colab 等方式,避免给 PC 增加负担。
方法多种多样,难度也偏高,但也有很多解说网站和简化导入流程的工具存在,建议去看看。下面挑选了一些看起来有用的链接和派生版。
- 从 Google Colab 开始 Trinart Stable Diffusion|npaka|note
- 可免费在 Windows 上构建图像生成 AI「Stable Diffusion」运行环境的「Stable Diffusion web UI」导入方法汇总 – GIGAZINE
- 在本地使用专注二次元角色的「Stable Diffusion」模型的方法 | くいなゲームズ -KUINA GAMES-
- StableDiffusionGenerator.ipynb – Colaboratory
- 解除图像生成 AI「Stable Diffusion」18 禁安全过滤器的方法|au Web 门户经济・IT 新闻
- 热门绘画图像生成 AI『Stable Diffusion』的体验・安装方法・提示词技巧・相关信息汇总备忘(Win/Mac/Colab) | Activi TV
- GitHub – AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI
- [Stable Diffusion] 使用 AI 从文本和图像生成新图像 [img2img] – TeDokology
模型会改变结果
前面提到已经出现了很多派生版本,而这类 AI 图像生成技术的结果会随着训练所用素材的不同而变化。只需更换使用的模型,就能得到不同的结果。
Stable Diffusion Conceptualizer
在这个网站上,可以试用经社区追加训练并注册到 Stable Diffusion Concepts Library 的 Stable Diffusion 模型。
Stable Diffusion Conceptualizer – a Hugging Face Space by sd-concepts-library
解说网站
如果你想要这种素材!在前往浏览器搜索之前,先让 AI 来生成,今后大概会成为理所当然的时代吧……。话说这几个月里应用一下子就激增了呢。
今后想必还会出现各种各样的东西,如果能提供信息我会很感激。