Stable Diffusion魔法入门

写在前面

本文为资料整合,没有原创内容,方便自己查找和学习,

花费了一晚上把sd安装好,又花了大半天了解sd周边的知识,终于体会到为啥这些生成式AI被称为魔法了,魔法使用前要吟唱类比到AI上不就是那些关键词参数什么的吗,描述的越具体生成的东西越具体.可以想象现在还需要手动输入词语的魔法,结合语音识别即可实现真吟唱效果,再结合脑机接口达成无需吟唱的效果...所思即所得,那时候才真正拼才华和想象力.

对普通人来说,AI几乎就是魔法.未来可期!

安装(签订契约)

• Home · AUTOMATIC1111/stable-diffusion-webui Wiki --- 首页 ·AUTOMATIC1111/stable-diffusion-webui Wiki (github.com) ==官方文档最为准确
• 本地部署 stable-diffusion-webui 并替换模型为 waifu-diffusion - 掘金 (juejin.cn)
• AbdBarho/stable-diffusion-webui-docker: Easy Docker setup for Stable Diffusion with user-friendly UI (github.com) docker部署,也挺方便
• lllyasviel/ControlNet: Let us control diffusion models (github.com)
• Mikubill/sd-webui-controlnet: WebUI extension for ControlNet (github.com)
• VinsonLaro/stable-diffusion-webui-chinese: stable-diffusion-webui 的汉化版本 (github.com) 汉化包

模型安装(符文)

自带模型models/Stable-diffusion

下载好模型后将文件将t文件放入models\stable-diffusion文件夹即可

扩展安装(天赋树)

扩展都存在于目录内自己的子目录中。您可以使用 git 安装这样的扩展： extensions

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients extensions/aesthetic-gradients

给模型添加预览图(印象)

新版webUI自带模型预览图功能,默认本地所有模型上都显示 no preview 即没有预览图,我们可以生成完图片后 再次找到添加模型的位置,鼠标移动模型卡标题处,上方会出现replace preview(替换预览)红色字样 点击即可将刚刚生成的图设置为此模型的预览图

如果想把任意一张图片设置为模型的预览图,可以将图片拖拽到img2img中 然后进行替换.

模型资源(道具商店)

• Civitai | Stable Diffusion models, embeddings, hypernetworks and more
• https://huggingface.co/
• 原神 | SD - WebUI 资源站 (123114514.xyz) 模型太多了,很国内味
• ChilloutMix | Stable Diffusion Checkpoint | Civitai
• Realistic Vision V1.3 | Stable Diffusion Checkpoint | Civitai 写实风格
• lllyasviel/ControlNet at main (huggingface.co)
• webui/ControlNet-modules-safetensors at main (huggingface.co)
• Korean Doll Likeness | Stable Diffusion LORA | Civitai
• LoRA 指南 - 知乎 (zhihu.com) ==LoRA: Low-Rank Adaptation of Large Language Models

性能(体质)

测试4GB的卡可以生成384x384的图片，512的大概需要6G左右， 1024的则需要8G+，推理速度慢，根据显卡和图片大小不同，大概需要20-60s

调参(吟唱)

调参教程(魔导书)

• Disco Diffusion (notion.site) 建议细读, 非原创聚合型文档，偏速查工具属性
• Discover and generate AI Art | OpenArt ==语句和参数的参考分享
• 咒语生成器 | 无界AI (wujieai.com) ==中英文可选,666

样例

<lora:koreanDollLikeness_v10:0.66>, **cat ears**,best quality, ultra high res, (photorealistic:1.4), 1woman, sleeveless white button shirt, black skirt, black choker, cute, (Kpop idol), (aegyo sal:1), (platinum blonde hair:1), ((puffy eyes)), looking at viewer, full body, facing front

SD 关键词参考

• https://arthub.ai/
• https://lexica.art/
• https://www.krea.ai/?continueFlag=6591d07b3186f4c7e58de1a4bcfaefb0
• https://promptomania.com/stable-diffusion-prompt-builder/

实践与参考(前辈们的故事)

• 模型应用---使用Stable Diffusion UI手册 - 知乎 (zhihu.com) UI上参数的翻译以及解释
• AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin: A user-friendly plug-in that makes it easy to generate stable diffusion images inside Photoshop using Automatic1111-sd-webui as a backend. (github.com)
• PS上的开源Stable Diffusion插件来了：一键AI脑补，即装即用 - 知乎 (zhihu.com) ==集成到ps中作为插件
• hua1995116/awesome-ai-painting: AI绘画资料合集（包含国内外可使用平台、使用教程、参数教程、部署教程、业界新闻等等） stable diffusion tutorial、disco diffusion tutorial、 AI Platform (github.com) ==可以的
• awesome-stable-diffusion/awesome-stable-diffusion: Curated list of awesome resources for the Stable Diffusion AI Model. (github.com)
• Stability-AI/stablediffusion: High-Resolution Image Synthesis with Latent Diffusion Models (github.com) sd2版本
• cmdr2/stable-diffusion-ui: Easiest 1-click way to install and use Stable Diffusion on your own computer. Provides a browser UI for generating images from text prompts and images. Just enter your text prompt, and see the generated image. (github.com) 桌面端UI
• gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com)
• 摄影师危！AI绘画即将降维打击摄影行业 - 知乎 (zhihu.com)
• ControlNet正在补完AIGC工业化的最后一块拼图 - 知乎 (zhihu.com)
• (15条消息) 【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论_栗少的博客-CSDN博客 ==挺好,有对名词做解释,概念入门
• https://note.youdao.com/ynoteshare/index.html?id=83ec1a4d9c7dc00191133c384df587b8&type=note&_time=1650330649515 ==教程-使用-思路-扩展,但依赖谷歌
• Stable Diffusion 完美复制Korean doll likeness！（详细版，持续更新中！） - 知乎 (zhihu.com)
• 如何使用stable diffusion批量为“虚拟女友”换衣服 - 知乎 (zhihu.com)
• AI技术“造人”：如何使用stable diffusion为你批量打造美丽的“虚拟女友” - 知乎 (zhihu.com)
• StableDiffusion模型资源探索食用指南 - 知乎 (zhihu.com) ==质量很高,总结的很好

在线体验(麻瓜)

• Stable Diffusion 2-1 - a Hugging Face Space by stabilityai sd2版本的试用环境
• andreasjansson/stable-diffusion-animation – Run with an API on Replicate ==可以输出动画和gif,挺有趣
• 无界AI-人人都是艺术家 (wujieai.com) ==国内的,已注册手机号

岗位要求(初级魔法师)

AI插图绘制师
岗位职责：
1. 设计多种绘画风格，实现AI风格迁移；
2. 高效熟练的使用AI（如Disco Diffusion、Stable Diffusion等工具）生产不同风格要求的人像与动画；
3. 跟踪前沿算法，熟悉AI绘画领域技术进展；  

岗位要求：
1.深度研究AI绘画软件，熟悉Stable Diffusion开源技术的使用；
2.熟练使用Python语言，及OpenCV、waifu2x等工具；
3.熟悉基于AI的人像生成与风格迁移，有项目落地经验；
4.了解前沿图像生成算法&产品（如 Disco Diffusion，Stable Diffusion，Dalle2，MidJourney，Tiamat, Lensa）；
5. 具备修图与分层的能力；
6. 绘画基础扎实，准备把握场景设定及透视的结构比例，造型能力强，色彩感强；
7. 具备1年以上动画/游戏美术经验