笔记 · 2024-12-22

stable diffusion传统版-学习笔记(一)

课程链接:StableDiffusio学习_哔哩哔哩_bilibili

功能分区

先来看一看主界面

缺点:功能不清晰,因为是开源的,每个人都能放自己的功能

优点:功能多,目前唯二的界面

功能分区可以这样分:

1.生图流程:sd作图的基本流程

2.功能分布:各项功能在操作界面的分布情况

3.应用逻辑:各项功能的核心作用

生图流程

采样器

功能部分

clip终止层数

一般二次元设置为3,真实图则设置为2

随机数种子-变异随机数种子

设置变异随机种子,设计变异强度比较低的时候,可以在原图上细微改变。

使用“png图片信息”,发送到文生图,可以获取每个图的变异随机种子。

随机数种子为图A,变异随机种子为图B,则可以按照比例融合AB图。

最后,从宽度、高度中调整种子,即变异种子数在随机种子数的基础上变异的尺寸大小,在潜空间操作。

采样方法

1、传统采样器

Euer,Heun,LMS。 这三个采样器历史悠久,被认为是最简单,但是不太准确的采样器

2、祖先采样器,名称中带 a的

Euler a,DPM2 a,DPM++2S a, DPM2 a Karras, DPM++2S a Karras,这些采样器每一步扩散都会加入额外噪声,采样结果很随机性,出图不收敛,不容易复现。

3、官方采样器最初随 sd v1 版本的发布自带的采样器

DDIM、PLMS。 DDIM 是第一个采样器,PLMS 则是 DDIM 的替代品,PLMS 快速更快

4、DPM 和 DPM++系列

DPM2,DPM2a,DPM++2S a,DPM++2M, DPM++SDE, DPM fast, DPM adaptive。

DPM 和 DPM++系列 是2022 年发布的采样器,结构相似,但DPM2比DPM 更准确但速度较慢。DPM++是对 DPM 的改进,但可能会很慢

5、带有 Karras 字样的采样器

LMS Karras, DPM2 Karras, DPM2 a Karras。这些采样器随着采样步骤的增加,可以减少截断误差。所以说带有Karras 的采样器一般效果都不错。

6、UniPC 采样器

UniPC 采样器是2023 年发布的新采样器,可在 5-10 步内实现高质量的出图。速度更快更好

7、带有a和sDE的采样器不收敛

采样会增加随机噪声,画面效果不稳定,出图多变

使用总结

1、万金油 Euler a

速度快,质量好,但稳定性一般,15 步到 30 步,符合SD 默认值 20步。现在这个采样器用的人很多,因为速度很快。

2、二次元效果最好 DPM++2M Karras

速度快、质量好,稳定性高,三者具备的采样器,步数20 到 30 步,符合SD 默认值20 步这个采样器被定义为地表最强,现今最多人用的采样器。

3、真实人像效果最好 DPM++SDEKarras,其次DPM++SDE

质量最好,速度慢,稳定性差,步数10 到 15 步,这个采样器因为质量很高,所以被用在真实人像绘画中。

4、风景效果最好:UniPc,其次DDiM,PtMS

步数 15到25 步,这是一款新款采样器。拥有对比更强,饱和度更高,更锐的特点,适合风景。

小结

1、稳定的采样器超过30步,没什么变化,丰打稳定;不稳定的采样器,步数高有惊喜,丰打高风险高收益。

2、采样器主要影响:速度、对比度、饱和度、景深等特征,如果色彩不够好看除了另选采样器,也可以另选VAE模型。

迭代步数

最后的总结图

目录