已经是第三篇文章了,今天先来给大家介绍一下stable diffusion webui的参数含义。
模型介绍
在stable diffusion中,一般使用的模型有以下5种,属于基础常用模型:
- stable diffusion大模型(checkpoint)
- lora模型
- 嵌入式模型(Embeddings)
- 超网格模型(Hypernetwork)
- 变分自编码器模型(VAE),区分于外置的VAE模型
所谓模型,就是经过图片训练而获得的不同程序包,模型并不是存放了这些图片本身,而是存放了这些图片在二维空间中的特征和规律,当然,以上是一种简单理解而已。

在stable diffusion生态中有三个层次,第一个层次是最基础的,由官方自身花费极大算力制作的大模型,即checkpoint,官方的sd模型也叫做预训练模型;第二个层次是基于大模型中间层的微调模型;最后则是用户使用时的图片生成,也就是应用层面,是对前两种模型和其他程序的最后使用结果。

大模型分为三部分:文本编码器(TextEncoder)、神经网络(U-net)、图像编码器(VAE)。
大模型的调整对于普通用户来说是非常苦难的,主要在于成本和算力问题,其次在于时间,所以普通用户一般不必考虑大模型的训练,而是直接使用别人训练好的大模型。
模型对比
模型名称 | 安装目录 | 训练方法 | 常见大小 | 使用方法 | 特点 |
Checkpoint | \models\Stable-diffusion | Dreambooth | 约2GB | webui顶部设置栏直接切换 | 最重要的主模型,效果最好,常用于控制画风,但文件体积大,不够灵活 |
Lora | \models\Lora | Lora | 约150MB | 提示词框输入<lora:lora文件名:权重> | 目前最热门的扩展模型,体积小且控图效果好,常用于固定角色特征 |
Hypernetwork | \models\hypernetworks | Hypernetwork | 几十MB | 提示词框输入<hypernet:hyperne文件名:权重> | 类似低配版的lora模型,但因训练难度较高而已逐渐被淘汰,多用于控制画风 |
VAE | \models\VAE | / | 约300MB | webui顶部设置栏直接切换 | 作为外置模型来弥补主模型的VAE功能,多用于辅助出灰图的主模型 |
Embedding | \models\Embedding | Textual Inversion | 几十KB | 提示词框输入触发关键词 | 最轻量的模型,适合 控制人物角色,但控图能力有限 |
大模型Checkpoint
国内的模型网站:LiblibAI-哩布哩布AI – 中国领先的AI创作平台
我在该站也训练了一些好看的汉服lora模型,欢迎大家免费使用,我的主页:LiblibAI-哩布哩布AI – 了然的lora主页
该网站支持新老用户每天免费领取生图点300,每个月还支持5次每次不超过500点的lora模型训练。
可在右侧进行筛选

基础算法:指的是训练该大模型时使用的算法,在选择时一般来说sd1.5的模型生态较好较多,一般在2GB左右,但在细节如手指等方面处理不够好。目前F.1算法的模型生态也不错,且手指等问题也处理得很好,只是其大模型更大,一般在11GB以上。另一个是sd-xl算法,模型一般在6-7GB左右,生态也不错。
安装模型,可在秋叶启动器中,找到模型管理菜单,然后点击右上角的“打开文件夹”。
大模型放在文件夹Stable-diffusion文件夹中。


当然,你也可以自己到根目录下找该文件夹models,这个文件夹放置着所有模型文件:


使用时,在webui界面的左上角,点选stable diffusion模型即可。


另一个位置也可切换:

嵌入式模型(Embeddings)
嵌入式模型可以稳定控制角色的特征,是一种文本向量,所以比较小。
相当于你自己写了一个“提示词”,然后该提示词可以被嵌入式模型扩展解释得更加精确。

在秋叶启动器界面的模型管理中,内置有一些嵌入式模型,如图:

嵌入式模型的存放路径:

如果你下载了模型放进去,需要重新启动一下启动器。
使用上,点击嵌入式模型,然后点选相应的嵌入式模型即可。嵌入式模型可以在正向提示词使用,也可以在反向提示词使用。

lora模型
以下是一个常用的lora模型,一般我们注意其大小、类型、基础算法和触发词即可。

秋叶启动器的webui一般仅支持sd1.5算法,这个需要大家注意。
lora模型时在神经网络u-net中进行微调,相当于将lora模型的参数插入到了原模型的神经网络中。lora模型时目前最为热门的模型,普通用户也可以训练自己的lora模型。

lora模型放置在models下的lora文件夹中:

在秋叶启动器中也可以复制链接到浏览器,直接下载lora模型:

lora模型在使用上,也是直接点选的,注意一些lora需要触发词,lora模型选择后一般都在正向提示词区出现,格式类似于【<lora名称:lora权重>】。

超网格模型(Hypernetwork)
可以看做低配版的lora模型,控制图片的画风,但是可以用lora直接替代了,这里就不讲了。
VAE模型
VAE模型一般在大模型中会自动内置,此时,我们在选择VAE模型时选择none或Automatic。如果大模型没有内置VAE模型,出图会比较灰暗的时候,可以使用一些VAE模型。

如果要下载VAE模型,可以在模型管理中复制链接到浏览器下载。

目前来说,很多大模型都是内置了VAE的,所以不必选VAE模型。


VAE模型放在models/VAE中,放入模型后记得重启启动器生效,如图:

注意:大模型XL的底模不必使用VAE模型。