当前位置： 首页 > news >正文

ComfyUI 完全入门：Refiner精炼器

news 文章来源：https://blog.csdn.net/2401_84494441/article/details/139660343 2025/4/19 7:45:48

在 SDXL基础模型1.0版本发布时，Stability AI 公司同时发布了一个名为SDXL Refiner的模型。这个Refiner模型是专门设计用来对基础模型生成的图像进行进一步优化和细化的，所以大家也经常称之为精炼器或者精修器。

Refiner模型的主要目的是提升图像的质量，使其在细节和整体视觉效果上更加出色。它可以对生成的图像进行额外的处理，修正一些可能存在的瑕疵，增强图像的锐度和清晰度，以及改进颜色和纹理的表现。

通过结合基础模型和Refiner模型，用户能够生成高质量、细节丰富的图像，适用于各种应用场景，如艺术创作、设计、广告等。这种两阶段的生成过程有助于克服单一模型可能存在的局限性，提供更为精细和高质量的图像输出。

这篇文章我们就来看下如何在ComfyUI中使用Refiner模型。

ComfyUI的安装部署

工欲善其事，必先利其器。要在ComfyUI中学习使用Refiner，大家至少也要有个ComfyUI环境吧。

我这里给大家提供两种使用方式：

一是本地部署，不过这需要你手里有一块牛X的Nvidia显卡，能访问外网，还要懂点技术能执行命令。

二是使用云环境镜像，我在AutoDL和京东云上创建了两个镜像，可以一键开启，直接使用内置的若干常见工作流，618期间各个平台都有优惠活动，喜欢的同学不要错过了。

使用Refiner模型

我们先来大概看下使用Refiner模型的工作流张什么样子（工作流下载见文末），如下图所示：

这个例子中的节点并不多，下边我给大家逐块分析下。

首先看左边这几个节点，这里边主要是Stable Diffusion基础模型的加载和提示词的编码。

Checkpoint加载器（简易） ：这里使用了两个加载器，因为我们先要使用base模型生成一张差不多的图片，然后再使用refiner模型将这张照片细化。

Primitive元节点：这里我们使用两个元节点来承载正向提示词和反向提示词，之前我们都是在“CLIP文本编码器”中输入提示词，为什么现在要使用“Primitive元节点”呢？因为要使用两个模型来生成图片，而且是为了生成同一张图片，那提示词就得用相同的才对；同时为了避免重复编写提示词，我们就需要一种共享节点，这类节点可以输出字符串，我们可以把这类节点的输出连接到多个不同的“CLIP文本编码器”，从而实现提示词的共享。

Primitive元节点怎么创建的？ 有些同学可能还不理解Primitive元节点，这里做个简单介绍。Primitive元节点即可以承载字符串，也可以承载数字，我们可以在工作区域中空白的地方，使用鼠标左键双击，搜索“元节点”进行创建；或者点击鼠标右键，在“新建节点”->“实用工具”中找到它。

新创建的Primitive元节点比较寒酸，只有一个输出点，我们只要把它连接到其它节点的输入点，Primitive元节点就会华丽变身，根据连接点的数据类型，Primitive元节点会生成不同类型的输入框，如下图所示：

CLIP文本编码器：CLIP文本编码器是将提示词编码为Stable Diffusion模型生成图片时可以理解的数字格式的条件，默认情况下，这些节点是可以直接输入提示词的，我这里对它们进行了一个小的改造，将文本框变成了输入点，以便于共享提示词。因为不同SD模型中的CLIP编码方式存在差别，要实现精确的控制，我们就需要为提示词在每个模型下使用各自的文本编码器，所以这里有四个文本编码器，分别对应到两个模型的正、负提示词。

输入框转换为输入点：有些同学可能还不会，这里啰嗦一下。过程很简单，大家只需要在对应的节点上点击右键，在弹出菜单中找到“转换为输入”，然后继续选择要转换为输入点的输入框即可。所有带输入框的节点都可以通过这种方式进行转换。

我们再来看下右边这几个节点，包括：Latent空间、采样器、解码器等。

空Latent：Stable Diffusion能够使用较小的资源（显存和计算量）生成图片，其中的功臣之一就是Latent。Latent是潜空间的意思，比如为了生成一张宽高为512_512的图片，Stable Diffusion在内部会使用一个较小的空间来生成，比如64_64，然后再解码到512*512，直接减小了64倍的空间使用。为了从文本生成图片，我们需要定义这样一个空的Latent，宽度和高度设置为最终的图片宽高，真正生成时程序内部会选择合适的潜空间大小。

K采样器：这里用了两个，并且把它们连接了起来。前边我们说过，使用Refiner模型时，先使用基础模型生成大部分，然后再使用Refiner模型精修。Stable Diffusion所谓的生成，就是采样，最开始是一张随机噪音的图片（就像电视没有信号时的雪花图像），然后通过不断的采样，保留需要的内容，去除不要的内容，最终产生一张清晰的图片。

注意两个地方：

  • 两个采样器中的开始降噪步数和结束降噪步数的值的设置，总共30步，前边24步使用基础模型，后边6步使用Refiner模型。
  • 前边采样器的“返回噪波”设置为enable，这样采样器就不会完全去噪，输出的Latent就保留了部分噪音，把它连接到后一个采样器的Latent输入，继续去噪（采样）。不过后边的采样器采样时也可以继续添加噪音，大家可以试试“返回噪波”设置为disable。

VAE解码： 前边已经提过，Stable Diffusion是在潜空间中去噪采样的，最终输出像素图片时还需要解码，一般SD基础模型都自带解码器，看这里模型加载器会输出一个VAE。

我们也可以手动设置一个解码器，注意解码器需要和SD基础模型匹配。

解码之后，我们就可以把图片保存和展示出来了。

以上就是本文的主要内容。

用好 ComfyUI：

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解，熟悉 ComfyUI 的基本使用方式；
  • 然后需要在实践过程中不断尝试、不断加深理解，逐步掌握各类节点的能力和使用方法，提升综合运用各类节点进行创作的能力。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

相关文章：

ComfyUI 完全入门：Refiner精炼器

在 SDXL基础模型1.0版本发布时，Stability AI 公司同时发布了一个名为SDXL Refiner的模型。这个Refiner模型是专门设计用来对基础模型生成的图像进行进一步优化和细化的，所以大家也经常称之为精炼器或者精修器。 Refiner模型的主要目的是提升图像的质量&…...

编程日记 2024/6/13 23:51:26

FastAPI操作关系型数据库

FastAPI可以和任何数据库和任意样式的库配合使用，这里看一下使用SQLAlchemy的示例。下面的示例很容易的调整为PostgreSQL，MySQL，SQLite，Oracle等。当前示例中我们使用SQLite ORM对象关系映射 FastAPI可以与任何数据库在任何样式…...

编程日记 2024/6/13 23:50:25

数字化那点事：一文读懂智慧城市

一、智慧城市的定义 一个城市信息化发展历程主要包括数字城市、信息城市、智慧城市、互联城市等阶段，现就我们当前所处的智慧城市阶段做个简要介绍。 智慧城市是利用先进的信息和通信技术（ICT）、物联网（IoT）、大数据分…...

编程日记 2024/6/13 23:49:24

RabbitMQ-topic exchange使用方法

RabbitMQ-默认读、写方式介绍 RabbitMQ-发布/订阅模式 RabbitMQ-直连交换机(direct)使用方法 目录 1、概述 2、topic交换机使用方法 2.1 适用场景 2.2 解决方案 3、代码实现 3.1 源代码实现 3.2 运行记录 4、小结 1、概述 topic 交换机是比直连交换机功能更加强大的…...

编程日记 2024/6/13 23:47:22

6-11 函数题：某范围中的最小值

6-11 函数题&#xff1a;某范围中的最小值 分数 5 全屏浏览 作者 雷丽兰 单位 宜春学院 有n(n<1000)个整数&#xff0c;从这n个整数中找到值落在&#xff08;60至100之间&#xff09;的最小整数。 函数接口定义&#xff1a; int min ( int arr[], int n); 说明&#xf…...

编程日记 2024/6/13 23:46:21

Flask基础2-Jinja2模板

目录 1.介绍 2.模板传参 1.变量传参 2.表达式 3.控制语句 4.过滤器 5.自定义过滤器 6.测试器 7.块和继承 flask基础1 1.介绍 Jinja2:是Python的Web项目中被广泛应用的模板引擎,是由Python实现的模板语言,Jinja2 的作者也是 Flask 的作 者。他的设计思想来源于Django的模…...

编程日记 2024/6/13 23:45:19

Serverless 使用OOS将http文件转存到对象存储

目录 背景介绍 系统运维管理OOS 文件转存场景 前提条件 实践步骤 附录 示例模板 背景介绍 系统运维管理OOS 系统运维管理OOS&#xff08;CloudOps Orchestration Service&#xff09;提供了一个高度灵活和强大的解决方案&#xff0c;通过精巧地编排阿里云提供的OpenAPI…...

编程日记 2024/6/13 23:44:18

AcWing 477：神经网络 ← 拓扑排序+链式前向星

【题目来源】https://www.acwing.com/problem/content/479/【题目描述】 人工神经网络&#xff08;Artificial Neural Network&#xff09;是一种新兴的具有自我学习能力的计算系统&#xff0c;在模式识别、函数逼近及贷款风险评估等诸多领域有广泛的应用。 对神经网络的研究…...

编程日记 2024/6/13 23:43:17

鲁教版八年级数学下册-笔记

文章目录 第六章 特殊平行四边形1 菱形的性质与判定2 矩形的性质与判定3 正方形的性质与判定 第七章 二次根式1 二次根式2 二次根式的性质3 二次根式的加减二次根式的乘除 第八章 一元二次方程1 一元二次方程2 用配方法解一元二次方程3 用公式法解一元二次方程4 用因式分解法解…...

编程日记 2024/6/13 23:41:15

Web前端栅格：深入解析与实战应用

Web前端栅格&#xff1a;深入解析与实战应用 在Web前端开发中&#xff0c;栅格系统是一种重要的布局工具&#xff0c;它能够帮助我们快速构建响应式、灵活且美观的页面布局。然而&#xff0c;对于许多初学者和从业者来说&#xff0c;栅格系统的概念、原理以及实际应用却常常令…...

编程日记 2024/6/13 23:40:14

mysql Innodb引擎常见问题

问题 1&#xff1a;InnoDB 引擎的主要特点有哪些&#xff1f; 答&#xff1a;支持事务、行级锁、外键约束&#xff0c;具有较好的数据完整性和并发性。 问题 2&#xff1a;InnoDB 如何实现事务的 ACID 特性&#xff1f; 答&#xff1a;通过原子性&#xff08;事务要么全部成功要…...

编程日记 2024/6/13 23:39:13

创建 MFC DLL-使用关键字_declspec(dllexport)

本文仅供学习交流&#xff0c;严禁用于商业用途&#xff0c;如本文涉及侵权请及时联系本人将于及时删除 从MFC DLL中导出函数的另一种方法是在定义函数时使用关键字_declspec(dllexport)。这种情况下&#xff0c;不需要DEF文件。 导出函数的形式为&#xff1a; declspec(dll…...

编程日记 2024/6/13 23:38:11

机器学习笔记 - 用于3D数据分类、分割的Point Net的网络实现

上一篇，我们大致了解了Point Net的原理，这里我们要进行一下实现。 机器学习笔记 - 用于3D数据分类、分割的Point Net简述-CSDN博客文章浏览阅读3次。在本文中，我们将了解Point Net，目前，处理图像数据的方法有很多。从传统的计算机视觉方法到使用卷积神经网络到Transforme…...

编程日记 2024/6/13 23:37:10

C#知识|基于实体类对象，返回实体集合封装介绍。

哈喽，你好啊，我是雷工！ 前面通过实体类封装传递了零散的参数，打包后给数据访问方法。 但当查询结果是数据集，要把查询到的数据返回给UI时，我们也可以把返回的多条零散数据封装到实体类中。 此次练习可以使用实体容器：泛型集合List<T>,当把每条数据封装成实体对…...

编程日记 2024/6/13 23:36:09

关于Redis中哨兵(Sentinel)

Redis Sentinel 相关名词解释 名词 逻辑结构 物理结构 主节点 Redis 主服务 一个独立的 redis-server 进程 从节点 Redis 从服务 一个独立的 redis-server 进程 Redis 数据节点 主从节点 主节点和从节点的进程 哨兵节点 监控 Redis 数据节点的节点 一个独立的 re…...

编程日记 2024/6/13 23:33:07

论文阅读：H-ViT，一种用于医学图像配准的层级化ViT

来自CVPR的一篇文章&#xff0c;用CNNTransformer混合模型做图像配准。可变形图像配准是一种在相同视场内比较或整合单模态或多模态视觉数据的技术&#xff0c;它旨在找到两幅图像之间的非线性映射关系。 1&#xff0c;模型结构 首先&#xff0c;使用类似特征金字塔网络&#…...

编程日记 2024/6/13 23:30:03

【MySQL】（基础篇七） —— 通配符和正则表达式

通配符和正则表达式 本章介绍什么是通配符、如何使用通配符以及怎样使用LIKE操作符进行通配搜索&#xff0c;以便对数据进行复杂过滤&#xff1b;如何使用正则表达式来更好地控制数据过滤。 目录 通配符和正则表达式LIKE操作符百分号(%)通配符下划线(_)通配符 通配符使用技巧正…...

编程日记 2024/6/13 23:29:01

HTML静态网页成品作业(HTML+CSS)—— 名人霍金介绍网页(6个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有6个页面。 二、作品演示 三、代…...

编程日记 2024/6/13 23:28:00

MySQL: 索引与事务

文章目录 1. 索引 (Index)1.1 概念1.2 作用1.3 使用场景1.4 索引的使用1.5 索引的使用案例 (不要轻易尝试)1.6 索引背后的数据结构1.7 重点总结 2.事务2.1 为什么要使用事务2.2 事务的概念2.3 事务的使用2.4 对事务的理解2.5 事务的基本特性 1. 索引 (Index) 1.1 概念 索引是…...

编程日记 2024/6/13 23:25:57

2024年最新Microsoft Edge关闭自动更新的方法分享

这里写自定义目录标题 打开【服务】 打开【服务】 windows中搜索服务&#xff0c;如下图&#xff1a; 打开服务界面&#xff0c;找到“Microsoft Edge Update Service (edgeupdate)” 及 “Microsoft Edge Update Service (edgeupdatem)” 两个服务&#xff0c;设置为禁用...

编程日记 2024/6/13 23:24:56

Unity3D TextMeshPro组件使用及优化详解

在Unity3D游戏开发中&#xff0c;文本渲染是一个不可或缺的部分。而TextMeshPro作为Unity的一个插件&#xff0c;提供了更高质量、更灵活的文本渲染功能&#xff0c;为开发者带来了极大的便利。本文将详细介绍TextMeshPro组件的使用技巧以及优化方法&#xff0c;并通过代码实例…...

编程日记 2024/6/13 23:22:53

react 0至1 【jsx】

1.函数调用 // 项目的根组件 // App -> index.js -> public/index.html(root)const count 100function getName () {return test }function App () {return (<div className"App">this is App{/* 使用引号传递字符串 */}{this is message}{/* 识别js变…...

编程日记 2024/6/13 23:21:51

算法训练营day58

题目1&#xff1a;392. 判断子序列 - 力扣&#xff08;LeetCode&#xff09; 暴力解法 class Solution { public:bool isSubsequence(string s, string t) {if(s.size() > t.size()) return false;if(s.size() < t.size()) {swap(s, t);}bool reslut false;int flag …...

编程日记 2024/6/13 23:20:50

JAVA面试中，面试官最爱问的问题。

解释Java中的抽象类和接口的区别。 在Java中&#xff0c;抽象类和接口都是用来定义类的抽象行为和特性的&#xff0c;但它们有一些关键区别&#xff1a; ### 抽象类 1. **定义**&#xff1a;抽象类是使用abstract关键字修饰的类&#xff0c;不能被实例化&#xff0c;只能被继…...

编程日记 2024/6/13 23:19:48

【机器学习300问】115、对比K近邻（KNN）分类算法与逻辑回归分类算法的差异与特性？

在学习了K近邻&#xff08;KNN&#xff09;和逻辑回归&#xff08;Logistic Regression&#xff09;这两种分类算法后&#xff0c;对它们进行总结和对比很有必要。尽管两者都能有效地执行分类任务&#xff0c;但它们在原理、应用场景和性能特点上存在着显著的差异。本文就是想详…...

编程日记 2024/6/13 23:13:44

Selenium IDE 工具

官网 ## https://blog.csdn.net/weixin_49770443/article/details/129366721## https://www.selenium.dev/selenium-ide/是什么&#xff1f; Selenium IDE是 Selenium Suite 下的开源 Web 自动化测试工具。 Selenium IDE 一个用于火狐 (firefox) 浏览器的插件&#xff0c;打开…...

编程日记 2024/6/13 23:11:42

python的open函数

1.open() 1.1 参数11.2 参数21.3 参数32.with open() as 3.open函数常用的方法 3.1 读3.2 写3.3 获取文件读写类型3.4 指针移动3.5 当前指针位置3.6 truncate在python中使用open函数对文件进行处理。 1.open() python打开文件使用open()函数，返回一个指向文件的指针。该函数常…...

编程日记 2024/6/13 23:10:41

德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第六周) - 预训练模型

预训练模型 1. 预训练模型介绍 1.1. ELMo1.2. GPT1.3. BERT 2. Seq2Seq 2.1. T52.2. BART 3. Tokenization 1. 预训练模型介绍 在预训练语言模型出现之前&#xff0c;统计语言模型&#xff08;如N-gram模型&#xff09;是主流方法。这些模型利用统计方法来预测文本中的下一个…...

编程日记 2024/6/13 23:05:35

【Redis】Redis常见问题——缓存更新/内存淘汰机制/缓存一致性

目录 回顾数据库的问题如何提高 mysql 能承担的并发量&#xff1f;缓存解决方案应对的场景 缓存更新问题定期生成如何定期统计定期生成的优缺点 实时生成maxmemory 设置成多少合适呢&#xff1f;项目类型上来说 新的问题 内存淘汰策略Redis淘汰策略为什么redis要内存淘汰内存淘…...

编程日记 2024/6/13 23:04:34

【redis】redis事务

目录 Redis事务四个命令redis事务特性redis事务执行原理 Redis 事务的使用基本使用watch 监控watch 实现原理补充 Redis事务 Redis事务是一种将多个命令打包成一个单独操作的机制&#xff0c;它保证了在执行这些命令期间&#xff0c;其他命令无法插入。 四个命令 Redis事务通…...

编程日记 2024/6/13 23:03:33