写作 · 2025-03-10

SD专栏03:stable diffusion模型介绍

已经是第三篇文章了,今天先来给大家介绍一下stable diffusion webui的参数含义。

模型介绍

在stable diffusion中,一般使用的模型有以下5种,属于基础常用模型:

  • stable diffusion大模型(checkpoint)
  • lora模型
  • 嵌入式模型(Embeddings)
  • 超网格模型(Hypernetwork)
  • 变分自编码器模型(VAE),区分于外置的VAE模型

所谓模型,就是经过图片训练而获得的不同程序包,模型并不是存放了这些图片本身,而是存放了这些图片在二维空间中的特征和规律,当然,以上是一种简单理解而已。

在stable diffusion生态中有三个层次,第一个层次是最基础的,由官方自身花费极大算力制作的大模型,即checkpoint,官方的sd模型也叫做预训练模型;第二个层次是基于大模型中间层的微调模型;最后则是用户使用时的图片生成,也就是应用层面,是对前两种模型和其他程序的最后使用结果。

大模型分为三部分:文本编码器(TextEncoder)、神经网络(U-net)、图像编码器(VAE)。

大模型的调整对于普通用户来说是非常苦难的,主要在于成本和算力问题,其次在于时间,所以普通用户一般不必考虑大模型的训练,而是直接使用别人训练好的大模型。

模型对比

模型名称安装目录训练方法常见大小使用方法特点
Checkpoint\models\Stable-diffusionDreambooth约2GBwebui顶部设置栏直接切换最重要的主模型,效果最好,常用于控制画风,但文件体积大,不够灵活
Lora\models\LoraLora约150MB提示词框输入<lora:lora文件名:权重>目前最热门的扩展模型,体积小且控图效果好,常用于固定角色特征
Hypernetwork\models\hypernetworksHypernetwork几十MB提示词框输入<hypernet:hyperne文件名:权重>类似低配版的lora模型,但因训练难度较高而已逐渐被淘汰,多用于控制画风
VAE\models\VAE/约300MBwebui顶部设置栏直接切换作为外置模型来弥补主模型的VAE功能,多用于辅助出灰图的主模型
Embedding\models\EmbeddingTextual Inversion几十KB提示词框输入触发关键词最轻量的模型,适合 控制人物角色,但控图能力有限

大模型Checkpoint

国内的模型网站:LiblibAI-哩布哩布AI – 中国领先的AI创作平台

我在该站也训练了一些好看的汉服lora模型,欢迎大家免费使用,我的主页:LiblibAI-哩布哩布AI – 了然的lora主页

该网站支持新老用户每天免费领取生图点300,每个月还支持5次每次不超过500点的lora模型训练。

可在右侧进行筛选

基础算法:指的是训练该大模型时使用的算法,在选择时一般来说sd1.5的模型生态较好较多,一般在2GB左右,但在细节如手指等方面处理不够好。目前F.1算法的模型生态也不错,且手指等问题也处理得很好,只是其大模型更大,一般在11GB以上。另一个是sd-xl算法,模型一般在6-7GB左右,生态也不错。

安装模型,可在秋叶启动器中,找到模型管理菜单,然后点击右上角的“打开文件夹”。

大模型放在文件夹Stable-diffusion文件夹中。

当然,你也可以自己到根目录下找该文件夹models,这个文件夹放置着所有模型文件:

使用时,在webui界面的左上角,点选stable diffusion模型即可。

另一个位置也可切换:

嵌入式模型(Embeddings)

嵌入式模型可以稳定控制角色的特征,是一种文本向量,所以比较小。

相当于你自己写了一个“提示词”,然后该提示词可以被嵌入式模型扩展解释得更加精确。

在秋叶启动器界面的模型管理中,内置有一些嵌入式模型,如图:

嵌入式模型的存放路径:

如果你下载了模型放进去,需要重新启动一下启动器。

使用上,点击嵌入式模型,然后点选相应的嵌入式模型即可。嵌入式模型可以在正向提示词使用,也可以在反向提示词使用。

lora模型

以下是一个常用的lora模型,一般我们注意其大小、类型、基础算法和触发词即可。

秋叶启动器的webui一般仅支持sd1.5算法,这个需要大家注意。

lora模型时在神经网络u-net中进行微调,相当于将lora模型的参数插入到了原模型的神经网络中。lora模型时目前最为热门的模型,普通用户也可以训练自己的lora模型。

lora模型放置在models下的lora文件夹中:

在秋叶启动器中也可以复制链接到浏览器,直接下载lora模型:

lora模型在使用上,也是直接点选的,注意一些lora需要触发词,lora模型选择后一般都在正向提示词区出现,格式类似于【<lora名称:lora权重>】。

超网格模型(Hypernetwork)

可以看做低配版的lora模型,控制图片的画风,但是可以用lora直接替代了,这里就不讲了。

VAE模型

VAE模型一般在大模型中会自动内置,此时,我们在选择VAE模型时选择none或Automatic。如果大模型没有内置VAE模型,出图会比较灰暗的时候,可以使用一些VAE模型。

如果要下载VAE模型,可以在模型管理中复制链接到浏览器下载。

目前来说,很多大模型都是内置了VAE的,所以不必选VAE模型。

VAE模型放在models/VAE中,放入模型后记得重启启动器生效,如图:

注意:大模型XL的底模不必使用VAE模型。

目录