教程源于学习:AI绘画进阶入门ComfyUI系列教程-1.简易安装于配置完全指南!_哔哩哔哩_bilibili,编写此教程目的作为笔记使用。

一、基本工作流控件

K采样器

名称 参数
随即种 生成的图片id
运行后操作 fixed(固定)、increment(增加)、decrement(减少)、randomize(随机)、
步数 采样步数通常20-60步
CFG 通常7,少一点就是4
采样器 euler_ancestral+调度器normal对应webui中Eulera(最普通的生成方式)、dpmpp_2m+调度器karras对应webui中的dpm++2m Karras(没有sde效果好,增加了图片的发挥和想象力)、uni_pc和LCM类似(10步之内出不错的图像)
调度器 karras,ddim(可能会崩),simple(作者实验,不好用),normal(线性降噪╱型,泛用式调度器)image-20240331141330211,karras(曲线降噪s型,较为平滑,刚开始比较少,到了中间大幅降噪,快结束时又比较少)image-20240331141353547,karras(急速降噪, 后半部,收敛块)image-20240331141239157,sgm配合采样器LCM搭配使用
降噪 默认文生图就是1,图生图的重绘幅度

K采样器(高级)

添加噪波二次渲染不需要

第一次渲染,开始步数默认为0,步数为30,结束降噪步数比30大没有任何意义。如果小于步数就会主动停止。现在结束降噪步数为20,那么还剩余10步,就会传递给下一次降噪。返回噪波需要开启。二次渲染如果步数到了就不需要了。

也就是说当一次渲染为30步,开始降噪步数为0,结束降噪步数20,在20步结束了降噪步数,返回噪波需要开启噪波,第二次渲染的时候,步数为也为30,开始降噪步数要设成20。结束降噪步数>步数

这种方法适合不同模型的融合采样二次精炼,在SDXL和1.5模型都适用。

CheckPoint加载器(简易)

加载主模型。模型训练的时候像素512512的图像(真实空间(Pixel space)每一个像素生成的空间),训练后压缩一块一块的64 64电脑会在小块的空间(潜在空间)里面合成我们想要的消息,然后转换成我们肉眼所能看到的图像。

自己想的一个小小的例子,方便大家理解。

1. 前期准备:

  • 您作为一个定制花瓶的生产者,已经积累了丰富的设计经验。
  • 您准备了一个房间,里面存放了成千上万打碎的花瓶碎片。这些碎片代表了像素,而整个房间就是您的大模型,包含了丰富的花瓶样式和元素。

2. 接收需求:

  • 有一天,有客户提出了他们的花瓶需求,通过语言描述的方式告诉您他们想要的花瓶样式。

3. 根据需求提取碎片:

  • 您进入房间(大模型),开始根据客户的描述(CLIP文本编码器)来寻找符合要求的碎片(像素)。
  • 这个过程中,K采样器会帮助您从众多的碎片中挑选出最合适的那些。

4. 草图设计:

  • 您现在有了这些碎片,接下来需要进行设计。
  • 您开始根据碎片的编号和需求进行草图设计(K采样器步数)。这个步骤中,调度器会帮助您决定如何组合这些碎片,以达到最佳的设计效果。
  • 草图的粗糙程度可以通过降噪技术来调整,使设计更加精确和美观。

5. 实物组装:

  • 草图设计完成后,您拥有了花瓶的基本结构和样式。
  • 但是,草图上的只是线条和碎片编号,还不是真正的花瓶。
  • 这时,您会利用VAE编码器来进行最后的组装。VAE编码器会根据您的草图,将对应的碎片(像素)进行组装,生成最终的花瓶实物。

image-20240331143321726

image-20240331143508156

image-20240331143529991

图生图流程

1. 初始图片上传

  • 用户上传一张照片作为参考,这张照片可以是一个具体的物体、风景、人物等,它提供了图生图过程的初始形态和细节。

2. 接收需求清单

  • 用户输入一系列的正负提示词,作为对生成图片的具体要求或期望。这些提示词可以包括颜色、风格、元素增减等各个方面的描述。

3. 细节还原与碎片提取

  • 系统根据您上传的照片,在大模型(即像素碎片库)中寻找与照片细节相匹配的碎片。这些碎片的提取过程确保了原始照片的细节能够得到很好的保留。

4. 设计与制作

  • 有了初始照片和用户需求,系统开始根据这些信息进行设计和制作。它会在保持照片原有细节的基础上,根据用户的正负提示词,调整图片的颜色、添加或删除某些元素,以及改变整体风格等。

5. 降噪与重绘幅度调整

  • 在这个过程中,降噪设置起到了关键作用。它决定了图片重绘的幅度。当降噪设置为0.几时,表示对原始图片的改动较小,更多地保留了原始细节。而降噪设置的参数越大,系统对图片的重绘幅度就越大,生成的图片与原始图片的差异也就越明显。

6. 最终生成

  • 经过上述步骤后,系统最终生成一张既保留了原始照片细节,又符合用户需求的全新图片。这张图片是原始图片与用户需求的完美结合,展现了图生图技术的强大能力。

通过这样的流程,图生图技术能够根据用户提供的照片和需求,生成出既符合用户期望又具有创意的全新图片。这种技术不仅在艺术创作中有着重要的应用价值,也在许多其他领域如设计、广告等中发挥着重要作用。

Checkpoint加载器(pysss)

瑞士军刀:新建节点>加载器>Checkpoint加载器(pysss)

加载模型是分类,适用于模型储存在不同文件夹分类内,模型比较多的小伙伴.

Empty Latent Image

决定潜在空间的图像大小,batch_size批次,就是生成多少张图,K采样器输入输出都需要潜在空间控制。

VAE解码

图片会在潜在空间之后解码

预览图像、保存图像

VAE解码后,今儿可以看到我们的图像了。保存图像路径可以设置,默认存在ComfyUI文件夹下的output内。

CLIP文本编码器

我们输入的是String类型的字符串,然后通过编码传给采样器。

以下节点需要安装插件使用,部分节点输出可能是String,所以需要使用默认CLIP文本编码器在CLIP节点上面右键选择转换为文本输入

当然这种操作可以适用绝大多数节点,就像编程一样,可以把某些节点内的参数转换成变量使用。例如重绘多采样器或者放大操作使用共享相同的随机种子,专门的变量框可以使用元节点,也可以直接拉。

CLIP文本编码器(Argos翻译)

汉化插件:新建节点>ALEK节点>条件

from设置现在的语言to设置要翻译的语言

文本翻译过后是否正确,可以使用预览文字和展示文本节点来查看。下同。

CLIP文本编码器(翻译高级)

汉化插件:新建节点>ALEK节点>条件

form设置auto自动to目标语言

add_proxies可以开启代理

service设置翻译引擎

CLIP文本编码器(翻译)

汉化插件:新建节点>ALEK节点>条件

form设置auto自动to目标语言

manual_translate 手动翻译

字符串操作

瑞士军刀插件:新建节点>实用工具>字符串操作

append追加replace替换

可以提升文本框为变量,然后用翻译文本组合使用,每个翻译文本框里面都可以输入不同的场景,这样逻辑会更加清晰。比如第一个是场景环境,第二个是对人物进行修饰的提示词,还有很多操作。

CLIP文本编码SDXL(优化)

SDXL Prompt Styler插件:新建节点>高级>条件

普通版:宽高,裁剪宽高一般不动,目标宽高。CLIP中的分辨率一般是真实生成图像的倍数关系,一般都是2倍,4倍这种,配个瑞士军刀的数学表达式使用会更简单。

优化:相比普通的CLIP文本编码SDXL,优化适用于二次精炼。

数学表达式

新建节点>实用工具

可以直接作用于空Latent节点输出的宽高。

假设空Latent节点宽高为1024,直接空Latent出连在A上。获取数据就是a.width,此时他就是1024。如果4倍就是a.width * 4。注意在这个里面,不管条件是什么输出的只是一个数,出整数或者浮点直接连接CLIP文本编码SDXL的进宽高就行了。

加载图像

新建节点>图像>加载图像

图片上传输入。mask就是图片蒙版,有可能照片年代久了,有些地方不出清楚了,或者之前有些地方不好看,我们就把它圈起来然他对圈起来的地方重新设计。

使用遮罩后要使用VAE内补码编码器,不然不识别遮罩。

VAE内补码编码器

新建节点>Latent>内补>VAE内补码编码器

相比普通VAE编码多了一个遮罩连接点。

使用遮罩后,注意自己的题词,不然会出现更多的手和脚或者衣服之内的。

图像裁剪

新建节点>图像>变换>图像裁剪

宽高设置,x,y实现裁剪偏移,在右侧菜单栏中更多选项中勾选自动执行(Auto Queue)改变状态。配合图像按系数缩放节点来实现

CLIP设置停止层

对应webui Clip跳过层

WD14反推提示词

新建节点>图像>WD14反推提示词

节点需要插件,并且配置科学,从远程批量下载模型提示词。同时也可以下载模型,本地运行。

在clash中要开启tun转发,在cmd管理员模式下输入上面命令并可开启代理。不会的请参考:AI绘画拉取模型失败,DOS开启代理 | XiSoul Blog’s

模型:设置反推提示词模型

置信度:阈值,给的越低,反推出来的提示词越零碎,越详细。阈值越高,就会挑一些主要的提示词描述。角色置信度同理。

排除标签就是反推出来的字符串中有你不想要的,你可以复制粘贴进去。

同时也可以配合瑞士军刀插件字符串操作。

SDXL风格化提示词(高级)

新建节点>实用工具>SDXL风格化提示词(高级)

L偏向于tag,类型人物,座椅板凳这种名词描述,短袖,牛仔裤。

G偏向于风格,形容词,比如形容女性的头发:长发短发,什么颜色。穿着什么样:什么样的短袖,什么样的牛仔裤。

输出为字符串,普通的SDXL需要提供CLIP文本编码器将文本框提升为连接点,SDXL风格化提示词(高级)需要提供CLIP文本编码器SDXL。

SDXL默认加载一个offset的Lora,进行光线调节。使用风格化提示词,简单的图像也可以没必要使用offset的Lora。

负面词应用可以控制只应用G或者L。

ControlNet应用

ControlNet应用(高级)

新建节点>条件

高级和普通相比,多了开始时间和结束时间,连接点方面分为正负输出。

图像不能直接输入给ControlNet应用,需要安装预处理组件

 Aux集成预处理器

ControlNet插件:新建节点>ControlNet预处理器

方便简单调用各种预处理器

Lora加载器

Lora加载器(pysss)

瑞士军刀:新建节点>加载器

相比普通的,加载Lora方便文件夹内模型管理

二、快捷操作

Keybind Explanation
Ctrl + Enter 出图
Ctrl + Z/Ctrl + Y 撤销
Ctrl + S 保存工作流
Ctrl + O 载入工作流
Ctrl + A 选择所有节点
Alt + C 折叠所选节点
Ctrl + M 屏蔽/取消屏蔽节点
Ctrl + B 穿过所选节点(就像此节点不存在,连线会穿越节点)
Delete/Backspace 删除节点
Ctrl + Delete/Backspace 清空界面
Space 按住之后画布会随着鼠标移动
Ctrl/Shift + Click 多选
Ctrl + C/Ctrl + V 复制粘贴节点
Ctrl + C/Ctrl + Shift + V 保持连线复制粘贴
Shift + Drag 同时移动多个节点
Ctrl + D 加载默认工作流
Q 切换队列可见性
H 切换出图历史可见性
R 刷新界面
双击 打开节点搜索界面

多选:按住ctrl+鼠标拖动

多选后可以右键创建模板组

鼠标中间可以添加中转节点(理线器)

三、功能操作

放大缩放

空间内放大

潜空间前放大

Latent缩放

指定宽高倍数,粗暴放大,只是尺寸变大。

Latent按系数缩放

指定倍数,粗暴放大,二次采样注意重绘幅度。

模型方法

放大模型加载器

新建节点>图像>放大>图像通过模型放大

放大中图像缩放,图像按系数缩放也是粗暴放大

4x-UltraSharp.pth

SD放大

新建节点>图像>放大>SD放大

SD放大节点混合了采样器采用区块式和webui一样。

区块大小自定义,区块模糊就是边缘羽化大小,分块分区通常默认。

接缝修复模式通常采用Band Pass效果较强,Half Tile比较弱。Half Tile+Intersections效果折中。如果不选默认为none会不起作用。

SD放大(不放大)少一个,方法模型连接点。用于二次采样二次修复

遮罩

新建节点>遮罩>加载图像遮罩

这个操作是直接在潜空间里面拿图,不需要二次采样

新建节点>Latent>内补>设置Latent噪波遮罩

可以直接遮罩连接点向旁边拖选择设置Latent噪波遮罩,然后直接使用上一个K采样器输出的Latent然后输出到下一个K采样器

反向

CLIP视觉加载器输入到CLIP视觉编码,同时将图像也输入。输出unCLIP条件也可以利用提示词传给条件零化然后传给unCLIP条件,再然后直接传给K采样器。这个过程可以利用多CLIP视觉编码进行风格化图片等等。