主题
ComfyUI
参考视频:YouTube。
介绍
ComfyUI 是以节点图(node graph)描述生成流程的本地生成式媒体工具。工作流由节点和连线组成:节点接收特定类型的数据、完成处理,再将结果传给下游节点。
它的重点不是提供一组固定的生图选项,而是将生成过程拆成可替换、可复用的步骤。同一套节点思维可以扩展到文生图、图生图、局部重绘、放大、视频和音频等任务。
基础生成流程
一次基础文生图可以概括为:
md
加载模型
↓
编码正向与负向提示词
↓
创建初始噪声
↓
KSampler 迭代去噪
↓
获得潜空间结果
↓
VAE 解码为像素图
↓
保存输出生成过程主要发生在潜空间(latent space)中。模型在提示条件的引导下逐步预测并移除噪声;VAE 负责在潜空间数据和可见图像之间转换。
常见数据类型
节点接口具有类型,只有兼容的数据才能连接。
| 类型 | 含义 | 常见流向 |
|---|---|---|
MODEL | 执行去噪的扩散模型 | 模型加载节点 → KSampler |
CLIP | 文本编码器 | 模型加载节点 → CLIP Text Encode |
VAE | 潜空间与像素空间转换器 | 模型加载节点 → VAE Encode / VAE Decode |
CONDITIONING | 编码后的生成条件 | 提示词或 ControlNet → KSampler |
LATENT | 潜空间图像数据 | Empty Latent Image / VAE Encode → KSampler |
IMAGE | 像素图像 | VAE Decode / Load Image → 保存或后处理 |
使用原则
- 参数调整以节点的输入、处理和输出关系为依据。
- 复杂工作流可由最小文生图流程逐步扩展。
- 固定
seed且单次只改变一个变量,便于判断参数影响。 - 工作流记录应包含模型、LoRA、自定义节点、输入素材和关键参数。
- 异常排查沿数据流进行,避免同时改动多个节点。
