当前位置：首页 > news >正文

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

news 文章来源：https://blog.csdn.net/Darlingqiang/article/details/140597190 2025/2/6 21:05:48

Stable Diffusion（SD）原理详解与ComfyUI使用

- - Stable Diffusion（SD）原理详解与ComfyUI使用
  - - 1. SD整体结构
    - 2. Clip（文本编码器）
    - 3. Unit（生成模型）
    - 4. VAE（变分自编码器）
    - 5. 整体工作流程
    - 6. ComfyUI低显存生成图片
    - 7. 总结

Stable Diffusion（SD）原理详解与ComfyUI使用

在这里插入图片描述

1. SD整体结构

输入：文本和随机变量（Latent Vector）
输出：图片
核心：由三个模型组成
1. 文本编码器（Clip）
2. 生成模型（Unit）
3. 变分自编码器（VAE）

2. Clip（文本编码器）

专为SD设计的文本编码器
训练步骤：
1. 有限制性预训练：使用图片和文本描述的数据集，训练文本编码器和图片编码器，使输出向量尽可能接近。
2. 进一步训练：使用物体名称和描述，训练文本编码器解码能力。

3. Unit（生成模型）

功能：加噪和降噪过程
过程：将图片经过VAE编码器处理，生成与Latent Vector相同大小的图片，然后通过加噪和降噪生成中间结果。

4. VAE（变分自编码器）

功能：降维和升维
过程：
1. 编码器将图片转换为较小的表示
2. 解码器将较小的表示还原为原图大小
优点：无需标签，可以从噪声中生成图片

5. 整体工作流程

文本通过Clip编码成向量
向量和Latent Vector一起输入到Unit
Unit进行降噪处理，生成中间结果
中间结果通过VAE解码器还原为最终图片

6. ComfyUI低显存生成图片

利用SD原理，ComfyUI可以在低显存条件下生成高质量图片
通过理解SD的各个部件和工作流程，可以更好地使用ComfyUI

7. 总结

SD通过结合文本编码器、生成模型和变分自编码器，实现了从文本到图片的生成
ComfyUI利用SD原理，提供了一种在资源受限条件下生成图片的方法
理解SD的架构和组件对于有效使用ComfyUI至关重要

【SD】 Stable Diffusion（SD）原理详解与ComfyUI使用 2

Stable Diffusion（SD）原理详解与ComfyUI使用 Stable Diffusion（SD）原理详解与ComfyUI使用1. SD整体结构2. Clip（文本编码器）3. Unit（生成模型）4. VAE（变分自编码器&#…...

编程日记 2024/7/23 4:53:06

【学习笔记】无人机系统（UAS）的连接、识别和跟踪（七）-广播远程识别码（Broadcast Remote ID）

目录引言 5.5 广播远程识别码（Broadcast Remote ID） 5.5.1 使用PC5的广播远程识别码 5.5.2 使用MBS的广播远程识别码引言 3GPP TS 23.256 技术规范，主要定义了3GPP系统对无人机（UAV）的连接性、身份识别、跟踪及…...

编程日记 2024/7/23 4:50:04

VMware 虚拟机 ping 不通原因排查

目录一、检查网络二、重启虚拟机网络因为最近遇到了一个比较奇怪的 ping 不通虚拟机的事，在此过程中，检查了很多的设置，故而写一篇文章记录下，如有 VMware 虚拟机 ping 不通可以尝试本文的排查方式。下面以 VMware 虚拟机为…...

编程日记 2024/7/23 4:48:02

websocket状态机

websocket突破了HTTP协议单向性的缺陷，基于HTTP协议构建了双向通信的通道，使服务端可以主动推送数据到前端，解决了前端不断轮询后台才能获取后端数据的问题，所以在小程序和H5应用中被广泛使用。本文主要集合报文分析对于websocket…...

编程日记 2024/7/23 4:47:01

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】

JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】目录 JCR一区级 | Matlab实现CPO-Transformer-LSTM多变量回归预测【2024新算法】效果一览基本介绍程序设计参考资料效果一览基本介绍 1.【JCR一区级】Matlab实现CPO-Transformer-LSTM多变量回归预测…...

编程日记 2024/7/23 4:46:00

写的代码： class Solution { public:string cc(int num){string res"";while(num>0){int rnum % 2;resstatic_cast<char>(48r)res;num/2;}return res;}int minChanges(int n, int k) {int res0;string n2cc(n);string k2cc(k);int n_sizen2.siz…...

编程日记 2024/7/23 4:43:57

VLAN 划分案例详解

vlan 的应用在网络项目中是非常广泛的，基本上大部分的项目都需要划分 vlan，这里从基础的 vlan 的知识开始，了解 vlan 的划分原理。为什么需要 vlan： 1、什么是 VLAN？ VLAN（Virtual LAN）&…...

编程日记 2024/7/23 4:42:56

[技术总结] C++ 使用经验

const 和 constexpr 有什么区别. const 一般是设置一个只读的属性, 在运行时还有可能通过cast变成一个可修改的. 但是constexpr是告诉编译器这就是一个常亮, 在编译时就可以计算出来然后进行替换.static 修饰的成员函数 & 成员变量 static 修饰的成员函数只能访问 static 修…...

编程日记 2024/7/23 4:40:54

音频数据集

1 多语言 Mozilla Common Voice 下载地址：https://voice.mozilla.org/data 时长：1965小时（目前为止） 最早2017年发布，持续更新，该基金会表示，通过 Common Voice 网站和移动应用，他们…...

编程日记 2024/7/23 4:39:54

Java | Leetcode Java题解之第268题丢失的数字

题目： 题解： class Solution {public int missingNumber(int[] nums) {int n nums.length;int total n * (n 1) / 2;int arrSum 0;for (int i 0; i < n; i) {arrSum nums[i];}return total - arrSum;} }...

编程日记 2024/7/23 4:38:53

指针！！C语言(第二篇）

目录一. 数组名的理解二. 一维数组传参的本质三. 冒泡排序法四. 二级指针与指针数组五. 字符指针变量与数组指针一. 数组名的理解在我们对指针有了初步的理解之外，今天我们来掌握一些新的知识就是数组与指针，第一个对数组名的了解&#xff…...

编程日记 2024/7/23 4:36:51

AIGC-ToonCrafter: Generative Cartoon Interpolation

论文:https://arxiv.org/pdf/2405.17933 代码:https://doubiiu.github.io/projects/ToonCrafter 给定首尾帧，生成逼真生动的动画 MOTIVATION Traditional methods which implicitly assume linear motion and the absence of complicated phenomena like disoccl…...

编程日记 2024/7/23 4:34:50

牛奶供应（三）

一个字贪，第一天，只能选择制作方式，后面的每一天，在<今天制作>与<前期存储>之间取更优解例如样例：100 5，200 5，90 20，存储成本为10 第1天： 一定是制作&…...

编程日记 2024/7/23 4:32:48

首批通过 | 百度通过中国信通院H5端人脸识别安全能力评估工作

2024年5月，中国信息通信研究院人工智能研究所依托中国人工智能产业发展联盟安全治理委员会（AIIA）、“可信人脸应用守护计划”及多家企业代表共同开展《H5端人脸识别线上身份认证安全能力要求及评估方法》的编制工作，并基于该方法开…...

编程日记 2024/7/23 4:26:43

JVM---对象是否存活及被引用的状态

1.如何判断对象是否存活 1.1 引用计数算法概念：在对象头部增加一个引用计数器,每当有一个地方引用它时，计数器值就加一；当引用失效时，计数器值就减一；任何时刻计数器为零的对象就是不可能再被使用的。优点&#xff1…...

编程日记 2024/7/23 4:22:39

科研绘图系列：R语言分割小提琴图（Split-violin）

介绍分割小提琴图（Split-violin plot）是一种数据可视化工具，它结合了小提琴图（violin plot）和箱线图（box plot）的特点。小提琴图是一种展示数据分布的图形，它通过在箱线图的两侧添加曲线来表示数据的密度分布，曲线的宽度表示数据点的密度。而分割小提琴图则是将小提…...

编程日记 2024/7/23 4:20:37

WEB前端09-前端服务器搭建(Node.js/nvm/npm)

前端服务器的搭建在本文中，我们将介绍如何安装和配置 nvm（Node Version Manager）以方便切换不同版本的 Node.js，以及如何设置 npm（Node Package Manager）使用国内镜像，并搭建一个简单的前端服…...

编程日记 2024/7/23 4:18:34

ASP.NET Core在启动过程中使用数据库实例的几种方式

ASP.NET Core项目启动过程中若要调用SqlSugarClient实例操作数据库数据（假设操作函数如下），特此记录以下几种方式： public class PublicDataBuffer {public static List<EnvironmentRecord> DataBuffer new List<Envir…...

编程日记 2024/7/23 4:16:33

AndroidStudio 编辑xml布局文件卡死问题解决

编程日记 2024/7/23 4:14:31

使用 PVE 自签 CA 证书签发新证书

前言 PVE 安装时会自动创建一个有效期 10 年的 CA 证书, 我们可以利用这个 CA 证书给虚拟机中的 Web 应用签发新的 TLS 证书用于提供 HTTPS 服务. 下面以 PVE 虚拟机中通过 Docker 跑的一个雷池应用为例进行演示. PVE 证书位置官方文档: https://pve.proxmox.com/wiki/Pr…...

编程日记 2024/7/23 4:13:30

ubuntu 22.04安装Eigen

1 安装 git clone https://gitlab.com/libeigen/eigen.gitcd eigen mkdir build cd build cmake ..sudo make install... -- Installing: /usr/local/include/eigen3/unsupported/Eigen/CXX11/src/TensorSymmetry -- Installing: /usr/local/include/eigen3/unsupported/Eige…...

编程日记 2024/7/23 4:10:27

Stable Diffusion（SD）原理详解与ComfyUI使用

Stable Diffusion（SD）原理详解与ComfyUI使用

1. SD整体结构

2. Clip（文本编码器）

3. Unit（生成模型）

4. VAE（变分自编码器）

5. 整体工作流程

6. ComfyUI低显存生成图片

7. 总结

相关文章：