Stable Diffusion的加噪和去噪详解

SD模型原理：

1. Stable Diffusion概要讲解
2. Stable diffusion详细讲解
3. Stable Diffusion的加噪和去噪详解
4. Diffusion Model
5. Stable Diffusion核心网络结构——VAE
6. Stable Diffusion核心网络结构——CLIP Text Encoder
7. Stable Diffusion核心网络结构——U-Net
8. Stable Diffusion中U-Net的前世今生与核心知识
9. SD模型性能测评
10. Stable Diffusion经典应用场景
11. SDXL的优化工作

---

微调方法原理：

1. DreamBooth
2. LoRA
3. LORA及其变种介绍
4. ControlNet
5. ControlNet文章解读
6. Textual Inversion 和 Embedding fine-tuning

目录

调度和采样详细解释

调度和采样总结

加噪过程中的调度算法和采样算法的作用

去噪过程中的调度算法和采样算法的作用

加噪过程概述

加噪过程的主要组成部分

加噪过程的步骤

去噪过程概述

去噪过程的主要组成部分

去噪过程的步骤

---

扩散（过程）流程参考：https://lichuachua.blog.csdn.net/article/details/143044773#t4

论文（公式）解读参考：https://lichuachua.blog.csdn.net/article/details/143256188#t3

噪声处理过程中的两个关键算法：调度算法、采样算法。

过程	调度算法的作用	采样算法的作用
加噪	控制每个时间步向图像中注入的噪声比例，逐步将图像转化为纯噪声。	加噪过程不需要采样算法，因为噪声注入是确定性的，按照调度器规则进行。
去噪	控制每个时间步去除的噪声比例，确保噪声逐步减少，图像逐步恢复。	采样算法用于推断每一步如何从当前噪声生成下一步图像【逐步去噪的 DDPM 和 跳跃去噪的 DDIM】，解决去噪过程中的不确定性。

• 调度策略控制加噪和去噪过程的每一步的噪声强度/速度变化，确保模型平滑、稳定地进行去噪。
• 采样方法控制如何从当前噪声生成下一步图像，去噪过程的步数和路径，影响生成速度和效果。

调度和采样详细解释

1. 调度算法的作用：无论是加噪还是去噪过程，调度算法的作用都是控制噪声比例的变化（添加或去除）。调度算法决定了图像中噪声和图像信息的相对比例，影响噪声的变化速率。

2. 采样算法的差异：采样算法只在去噪过程中发挥作用，因为去噪涉及逐步从噪声生成图像，这是一个不确定性的推断过程【也有确定性的采样：DDIM】。加噪过程是确定性的，因此不需要采样算法。

调度和采样总结

• 加噪过程：调度算法负责噪声注入的强度和速率，不需要采样算法。
• 去噪过程：调度算法控制噪声去除比例，采样算法则负责逐步生成下一步的图像，两者结合完成去噪过程，有确定性采样和不确定性采样。

加噪过程中的调度算法和采样算法的作用

加噪的调度算法

• 调度算法的作用：加噪过程使用调度算法来控制每个时间步添加噪声噪声的比例，也就是定义每个时间步图像中保留多少原始图像信息，添加多少噪声。这是一个确定性过程，完全由调度器决定。

• 常见的调度算法：

  • 线性调度：每一步噪声添加的比例按照线性规律变化，即噪声比例逐步增加，图像信息逐步减少。
  • 余弦调度：噪声比例变化按照余弦曲线，使得噪声的添加在初期和末期较为缓和，中期快速增加。

• 加噪公式：

  

• 总结：在加噪过程中，调度算法控制每个时间步噪声的噪声比例，决定了从原始图像 ​ 到噪声图像 ​ 的转变过程。由于这是一个确定性过程，调度算法完全控制了噪声注入的规则，而不涉及采样或推理操作。

加噪的采样算法

• 采样算法的作用：加噪过程中不需要采样算法，因为加噪是确定性的，每个时间步的噪声注入量完全由调度算法控制，不需要模型进行推断或采样操作。

• 总结：加噪过程不涉及采样算法，它只是在固定的调度规则下向图像中添加噪声，因此不需要复杂的采样机制。

去噪过程中的调度算法和采样算法的作用

去噪的调度算法

• 调度算法的作用：与加噪过程类似，去噪过程中，调度算法同样控制每个时间步中去除噪声的比例。它决定了在每个时间步，如何逐步去除噪声，使得图像能够从纯噪声逐步恢复为原始图像。

• 常见的调度算法：

  • 线性调度：噪声去除的比例按线性变化，噪声逐步减少，图像信息逐步恢复。
  • 余弦调度：噪声去除比例按余弦曲线变化，初期和末期的去噪较为平滑，中期去噪速度较快。

• 去噪公式：

  

• 总结：在去噪过程中，调度算法控制每一步去除噪声的比例，确保噪声逐步减少，图像信息逐步恢复。调度算法决定了去噪过程的速率，但并不负责具体的推断过程。【由采样算法进行推断】

去噪的采样算法

• 采样算法的作用：在去噪过程中，采样算法负责逐步生成图像【DDPM 是逐步去噪，而 DDIM 则是跳跃去噪】。决定去噪过程的步数和路径，影响生成速度和图像质量。在每个时间步，模型需要通过采样算法从噪声图像  中生成下一步的图像。

• 如何生效：采样算法主要作用在上方去噪公式最后的随机噪声项，这个随机噪声项的处理决定了采样过程的确定性或不确定性。

• 常见的采样算法：

  • DDPM（Denoising Diffusion Probabilistic Models）：
    • 在 DDPM 中， 是非零的，因此在每一步生成过程中都会加入随机噪声项 。实现不确定性采样，使生成具有多样性，但通常需要更多步数。
    • 基于马尔可夫链的逐步采样方法，通过每一步从前一步的结果推导出下一步图像。通常需要较多的时间步（如 1000 步）才能生成高质量图像。
  • DDIM（Denoising Diffusion Implicit Models）：
    • 在 DDIM 中，被设置为 0，因此去噪公式中的随机噪声项 被完全去掉。实现确定性采样，生成过程更快且一致性更高。
    • 与 DDPM 类似，但它不依赖马尔可夫链，允许在更少的时间步内生成图像（如 50 或 100 步），加速了生成过程。

• 采样过程的示例：

  • DDPM 采样：从 ​ 采样到 ，逐步减少噪声，每一步的生成依赖于前一步的结果。
  • DDIM 采样：跳过一些时间步，直接从 ​ 推断出更远的时间步的图像，加速了去噪过程。

• 总结：采样算法在去噪过程中扮演着核心角色，它决定了模型如何推断从当前噪声图像生成下一步的图像。

  • DDPM 使用基于马尔可夫链的逐步，不确定性采样，引入随机噪声项，适合需要多样性和更具自然随机性的生成任务。
  • DDIM 使用基于非马尔可夫链的逐步，确定性采样，去掉了随机噪声项，使得生成过程更为直接和一致，有助于在更少的时间步数内达到高质量的生成结果。

加噪过程概述

加噪过程是扩散模型的前向扩散过程，它从原始图像 x_0​ 开始，通过一系列预定的噪声注入步骤，将图像逐步转化为纯噪声 x_T​。整个过程通过某种调度策略（如线性或余弦调度）来控制噪声的注入速率。

加噪过程的主要组成部分

1. 调度策略（Scheduler）

2. 噪声生成与注入

具体参考如上

加噪过程的步骤

1. 初始化原始图像：

• 加噪过程从原始的无噪声图像  开始，图像最初不含任何噪声。

2. 逐步加噪（​）：

• 加噪过程是从时间步 t=0 开始，每个时间步逐步向图像中添加噪声。最终在时间步 t=T 时，图像 变为纯噪声。

• 在每一个时间步 t，根据调度策略决定注入的噪声比例：

  

                随着 t 的增加，图像中的噪声逐步增加，而图像的原始信息逐步减少。

3. 完成加噪过程：

• 当时间步 t=T 时，图像 ​ 基本变成了完全的随机噪声。此时原始图像的结构几乎完全丧失，图像仅由噪声构成。
• 这个纯噪声图像将作为去噪过程的起始点，模型将在去噪过程中从这个纯噪声图像逐步恢复出清晰的图像。

去噪过程概述

去噪过程是在扩散模型的生成阶段，模型从一个随机噪声图像开始，逐步去除噪声，最终恢复出原始图像。这一过程的目标是通过反向扩散，从纯噪声生成高质量的图像。

去噪过程的主要组成部分

1. 调度策略（Scheduler）

2. 噪声预测与去除

3. 采样方法（Sampling Method）

具体参考如上

去噪过程的步骤

1. 初始化噪声图像：

• 模型从一个纯随机噪声图像 ​ 开始，假设该图像位于时间步 T，此时图像完全被噪声覆盖。

2. 逐步去噪（）：

• 模型从时间步 T 开始，逐步通过多个时间步 t，去除噪声，最终生成清晰图像 。

• 在每一个时间步 t，通过调度策略决定去除噪声的比例：

  

• 使用采样方法来控制如何生成下一步图像 ​。例如：

  • DDPM：每个时间步依赖于前一个时间步的采样结果，生成下一步的图像。
  • DDIM：通过隐式推断加速采样，在减少时间步的同时仍能生成高质量图像。

3. 完成去噪过程：

• 模型通过多个时间步逐步去噪，直到时间步 t=0，生成出清晰的图像 。
• 去噪过程中的每一个时间步，都是由调度策略控制噪声去除的强度，而采样方法控制如何具体生成下一步的图像。

调度策略和采样方法需要结合使用，共同决定去噪的效果。调度策略负责控制噪声去除的幅度，采样方法负责如何通过这一幅度进行去噪，并生成下一步图像。