stable diffusion是一种基于深度学习的 latent diffusion model(潜在扩散模型)。主要由三部分组成:
- Variational Autoencoder(VAE):VAE 编码器将图像从像素空间压缩到一个较小维度的潜在空间,捕捉图像更基本的语义含义;在生成图像时,VAE 解码器将潜在空间的表示转换回像素空间,生成最终的图像。
- U-Net:由 ResNet backbone 组成,在正向扩散过程中,对压缩后的潜在表示迭代地添加高斯噪声,U-Net 块则对正向扩散的输出进行反向去噪以获得潜在表示。
- Text Encoder:对于基于文本的条件生成,使用固定的、预训练的 CLIP ViT-L/14 文本编码器将文本提示转换为嵌入空间,通过交叉注意力机制将编码的条件数据暴露给去噪 U-Nets,从而使生成过程能根据文本提示进行。
目前市面上有很多绘画和生图软件,而这款软件的可控性是最高的,可以自由控制出图,当然,这也导致了它的缺点,就是需要调节的参数比较多,和类似的其他绘画软件相比,会复杂不少。
要部署源码对小白们来说不大友好,需要很多命令,所以在市面上,目前我所见的主要有两种方式安装该模型,一种是秋叶大佬的安装包,一种是comfui安装包。今天就依次来介绍这两种安装包的安装方式,安装包下载请拉到末尾进入链接下载。
对了,无论是哪种安装包,都必须要有显卡,最好也最合适的是英伟达显卡,最好是20、30系以上,6g内存以上。显存越小,跑图越慢,显存越大,跑图越快。
AI绘世启动器
先来介绍B站秋叶大佬制作的安装包,这款安装包也是我常用的,秋叶的主页有很多有趣的项目介绍,以下是他的主页地址:
秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频
下面开始介绍安装方法,并且为大家简单做一波生图演示。
1.进入底部下载链接,点击下载安装包到本地,安装包很大,大约7G。不过移动云盘下载不限速,且免费,所以大家不需要担心还要去充会员才能下载,只要你的网速足够、电脑配置足够就行。

2.双击”启动器运行依赖”,安装Microsoft Windows Desktop Runtime软件。


3.安装成功后点击关闭即可。

4.解压sd-webui-aki-v4.9.1.7z文件夹,解压完成后打开该文件夹。

5.找到其中的A绘世启动器.exe(可爱头像的这个,很显眼吧hahaha),双击启动界面,等待界面校验文件并打开。

6.初次打开,可在左侧高级选项中配置你的显卡,一般它会自动检测显卡。比如我的是显卡是3060 12GB的显卡,它会自动选择,如果没有选择,可能需要你自己设置。其他配置保持默认即可。

7.我们回到一键启动界面,点击右下角一键启动按钮,即可打开stable diffusion绘画界面了。
值得注意的是,在这个 界面上可以打开SD的许多文件夹,比如根目录,扩展文件夹,文生图等。

8.由于生图需要checkpoint大模型,所以我们需要去下载自己喜欢的checkpoint大模型到电脑,然后将大模型放入sd相应的文件夹。以本案为例,我们的sd安装的路径是:
E:\Ai_software\stable diffusion\sd-webui-aki-v4.9.1
这个文件就是我们之前解压进入的文件,在这里找到专门放置模型的文件夹:models

然后找到Stable-diffusion文件夹:

在这个文件夹中放置你下载好的大模型文件即可。比如我的sd中,放了4个大模型。

大模型的英文叫checkpoint,在国内,可以去LiblibAI-哩布哩布AI – 中国领先的AI创作平台免费下载,如果能魔法上网,也可以去https://civitai.com/,也就是大家所说的c站下载大模型。

在点击一键启动等待几分钟后(看电脑配置和是否第一次启动,时间不一样),软件会自动打开浏览器地址为:127.0.0.1:7860的界面,这里就是我们的SD绘图界面了。

有关这个界面以及各种功能操作,大家可以在哔哩哔哩中查看up主们发布的教学视频,也可以去我的笔记区看一些简单的课程笔记。
stable diffusion传统版-学习笔记(一) – 了然学园
stable diffusion传统版-学习笔记(二) – 了然学园
下面我们简单使用以下提示词来生几个简单的图片吧!
masterpiece,best quality,1girl,sleepwear,

masterpiece,best quality,1dog,white hair,cute,

提示词很简单,但出图是真不错。这样,秋叶大佬制作的ai绘画启动器就安装并运行成功啦!
Comfyui启动器的部署
另一个ai绘画常用的启动器名叫comfyui,这个启动器的界面比较美,是块级元素。下面我们来安装。
1.先下载它的解压包,目前我只找到英伟达显卡的安装包,在末尾下载链接中提供给大家,也是移动云盘获取,免费不限速。下载到本地后,解压文件到文件夹中。

2.进入ComfyUI_windows_portable文件夹,双击run_nvidia_gpu.bat文件,这个是启动器文件,它会弹出一个cmd加载界面,如下图:

等待出现http://127.0.0.1:8188的网址时,它会为我们打开一个网页。如果网页没打开,或你不小心关掉了,直接去浏览器输入这个网址回车即可。以下是comfyui的画图界面。

3.它这里有很多块和线条,块大家可以理解为每个不同的功能区,线可以理解为各个功能区之间的交互,没有交互的功能区,线就不会相连。
当然,这个也需要大模型,我们下载一个大模型,放入它的大模型文件夹,以我的安装文件为例,模型文件夹路径为:
E:\Ai_software\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\models

4.点进models文件夹,我们大模型checkpoint就放在这个文件夹中:checkpoints

5.部署基本完成了,下面我们回到界面,使用上面相同的提示词再来,用comfyui再画一下。由于模型不同,各种设置也不同,所以出图不一样。要让出图一致,或者更加好看,大家需要进一步学习,建议去B站搜索课程,我这里就不再详述了。


今天的文章sd两个启动器就介绍完成了,一万年太久,只争朝夕,有想法的小伙伴立刻行动起来吧!下面是两个启动器的下载链接。
下载链接
秋叶启动器:
链接:https://caiyun.139.com/m/i?095CtbYGUXTNf
提取码:5nWF
复制内容打开移动云盘PC客户端,操作更方便哦
comfyUI启动器
链接:https://caiyun.139.com/m/i?095CuZRvDIAcD
提取码:bma7
复制内容打开移动云盘PC客户端,操作更方便哦