stable diffusion 入门教程

sd基础

工作原理&入门

输入提示词后有文本编码器将提示词编译成特征向量，vae编码器将特征向量传入潜空间内，特征向量在潜空间内不断降噪，最后通过vae解码器将降噪之后的特征向量解码成一个个像素组成的图片

一般选中默认vae模型

解码编码的模型

CLIP值越大，提前停止的越快，我们提示词被数字化的层数越少，提示词的相关性越小。反之越小越能丰富提示词

CLIP终止层数一般为2

其他功能

1.Hires.fix 高清修复

2.Refiner 当渲染到80% 切换另一个模型渲染

3.CFG 一般为5-10 越小ai越自由，越高越靠近提示词

4.随机种子提示词一样，随机种子一样则可以在不同电脑生成相同图片

5.迭代步数越高 20-30 图片质量越高，步数过高则失真，且消耗更多时间，有时候还没有效果

ADetailer 修复人物的脸

采样方法 DPM++2M

网站，模型推荐

liblib NovelAI hugingface promlib civitai github

majicmix dreamshaper primemix architectrealmix

提示词语法

英文和英文的标题符号

权重

数字越高权重越高，画面着重描述什么

[cat]=(cat:0.9)

(cat)=(cat:1.1)

{cat}=(cat:1.05)

[[cat]]=(cat:0.9x0.9)=(cat:0.81)

((cat))=(cat:1.1x1.1)=(cat:1.21)

ctrl + 上箭头 可以快捷调节  权重多低都行，过高则不行，会失真

短句与长句

一个一个词的拼写，而不是一句话呢

一个个词组会更准确，而且好调整权重

提示词控制在75个以内，正反向一样，不超过75

起手式

正向 4k masterpiece 会让图片更加精美

反向则用 text blur之类

有修饰词

提示词顺序，越靠前权重越高

no.1 画质词/画风词

no.2 主题 one girl

no.3 环境/场景/构图

no.4 lora

提示词污染

1girl,blue dress,pink hair,green umbrella,

1girl,blue dress,red hair,puple umbrella,

防止提示词尤其是颜色相互渗透使用break隔开

提示词融合

1girl,cat  猫在女孩身上

1girl And cat 猫娘 (1girl_cat 有同样效果)

[cat|dog] 也有融合效果

{forest:1girl:0.3} 在30%的时候结束画forest

{forest:1girl:0.7} 在70%的时候结束画forest

图生图&高清修复

通过图片加提示词生成结果

使用预设起手式，并添加进提示词

通过插件来快速选择自己想要的提示词

masterpiece,best quality,1girl,police,glamor,in summer,street,

将参考图拖入图生图并增加提示词

masterpiece,best quality,1girl,police,glamor,in summer,street,coat,

增加提示词coat，通过原图再次生图

图生图重绘幅度，不过高也不过低 0.3-0.5结果图与参考图之间差距不会太大

                            0.5-0.7赋予ai更多想象空间

                            低于0.3 或大于 0.7则扭曲变形

局部重绘，增加sunglasses提示词

upscale 二次元

GAN 4X Anime6B 适合动漫放大 (Gan生成式对抗网络简称)

重绘幅度 0.3-0.5安全区间 0.5-0.7ai自由领域

放大倍数x2 512 变为1024

文生图界面

文生图界面的放大需要锁定种子

再次点击小图标来到图生图，再次放大

无需锁定种子

再次放大模型放大

从512缩放到1024

controlnet

风格转换 softedge

最开始能通过线条处理还原参考图的只有canny

canny 硬边缘 canny将参考图通过细线勾勒出来架构基于相邻像素计算差值，死板，图片会出现莫名奇妙的元素

softedge 全能模型将主体勾勒

开启插件controlnet

pidinet 与 hed

hed 保留图片更多细节，完整性好 建筑，场景

pidinet 能够更好保留主体，忽视细节人物

使用真实系的模型，将二次元图片好好描述

线稿上色 Lineart

lineart多用于线稿上色动漫类图像处理

mj 生成线稿

点击爆炸按钮后，会有去下载插件，如控制台显示git网络失败，手动去下载到相应目录解压

最好宽高比和原来图片一样也就是宽度和高度

controlnet-2

openpose 姿态管理

姿态成功控制

dw_openpose_full效果最好

根据参考图图片高宽一致

depth [空间关系]

场景比如教堂

softedge + depth

控制线条分布 + 深度

depth

预处理用了hedsafe

softedge

负面提示词这里因为是建筑，所以去除finger有关

可以通过提示词来改变教堂颜色

人物

softedge openpose depth ipadapter

线条分布绑定骨骼空间关系面部特征迁移/风格一致性

tile

参考图模糊，再分区块重采样结果图细节更丰富

可以将图片拖入controlnet的单张图片，再次tile。可以看到叶子的纹路

controlnet Ipadapter

ipadapter 可以去hugingface里下载，根据后缀放在指定目录

换脸

材质迁移

风格迁移

换脸

生成一张图片，为参考图

将参考图拖进ipadapter

写实换脸，上传了自己的图片

材质迁移

ipdapter

softedge

depth

midas也不错

材质很重要，如果用下图材质则使用crystal materials

Ipadapter-1

风格迁移

选择综合性强的大模型 dreamshaper

生成参考图

风格转换 style transfer

点击生成，

生成成功后，高清放大

直接更换风格

甚至可以根据动漫角色的画风，直接变换

ipadapter与openpose综合运用

controlnet unit1 ipadapter

生成骨骼图

controlnet unit2 openpose

写提示词增加lora

要和骨骼图一样比例

有lora则更靠近赫敏的图片

综合案例使用

室内设计

大模型选择 Architecturerealmix

unit 1 mlsd处理完只包含直线

unit 2

生成毛坯房

Unfinished, nothing, no furniture, rough, house interior

精装修

ModernRoomDesign,Interior design,modern simplicity,green,(masterpiece),(high quality),best quality,real,(realistic),super detailed,(full detail),(4k),modern,fashion,grand,vista,(high floor:1.2),

去到图生图

改变关键词然后图生图

如果成品出来还想改变，继续图生图

如果想要壁纸变成自己图片的风格，通过勾选上传独立的控制图像

使用ipadapter，进行渲染

如果没有空间深度则继续使用depth

stable diffusion基础[liblib]

正向提示词

人物特征

1girl,solo,

suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,

场景特点

outdoor,blue sky,white clouds,flowers,grass,

场景设定 [天气与光线与白天和黑夜]

day,night sunset，rain shrong rim light

movie light,light tracking,

场景形容词

beautifful ,happy

生图标准 [画质与风格]

8k，highest quality，high resolution

Comic Watercolor Realistic Abstract

1girl,solo,

suspender dress,headdress,delicate eyes,beautiful face,shallow smile,snow-white skin,elegant standing,

outdoor,blue sky,white clouds,flowers,grass,

movie light,light tracking,

beautiful,happy,

8k，highest quality，high resolution,

realistic,extreme detail

负向

low quality,blurry,bad proportions,cropped,watermark

ugly,bad body,missing fingers,extra feet

NSFW text logo

参数

eular a画笔选择，根据推荐来，其实都差不多

步数15-25,过高也不会有用

comfyui尝试

sd 挂lora+汉化工作流

图片有元数据

可以通过拉取图片来获得工作流

comfyui 大部分问题可以通过离线安装的方式解决 google可以解决。每当报错

通过日志去查看，工作流报红，缺模型就安装模型，缺插件安装插件，缺什么装什么