当前位置： 首页 > news >正文

AI 绘画Stable Diffusion 研究（十六）SD Hypernetwork详解

news 文章来源：https://blog.csdn.net/lizhong2008/article/details/132508540 2024/11/15 13:32:57

大家好，我是风雨无阻。


本期内容：

  • 什么是 Hypernetwork？
  • Hypernetwork 与其他模型的区别？
  • Hypernetwork 原理
  • Hypernetwork 如何下载安装？
  • Hypernetwork 如何使用？

在上一篇文章中，我们详细介绍了 embedding 的定义、作用以及如何安装使用 ，相信看过的朋友都知道，embedding 是属于一种将提示词打包的模型微调技术。感兴趣的朋友，可以前往查看：AI 绘画Stable Diffusion 研究（十五）SD Embedding详解。


其实今天要讲到的 Hypernetwork 和 embedding 甚至和后面我们即将介绍的 Lora 模型一样，也属于一种模型微调技术。


Hypernetwork 其实并不是我们介绍的一个重点知识，我们只需要了解这个微调技术的原理和使用方法即可！


主要有以下原因：

  • Hypernetwork是一个比Lora更早的模型微调技术，现在使用的人数越来越少。

    我们在c站筛选Hypernetwork，只有33个Hypernetwork文件。

在这里插入图片描述


  • Hypernetwork使用效果并不理想，甚至还不如体积只有几k的embeddings文件，但是Hypernetwork的文件体积却可以与lora相提并论，在几十M甚至上百M。

在这里插入图片描述


  • Hypernetwork可以实现的效果，用其他的替代方式几乎都可以实现，比如用embeddings或者用lora。

1、什么是 Hypernetwork？

Hypernetwork 中文名（超网络），最初由stable diffusion 早期使用者 NovelAI开发，它是一个附加到stable diffusion模型的小型神经网络，用于修改其风格。


2、Hypernetwork 与其他模型的区别

  • Hypernetwork VS Checkpoint（大模型）

Checkpoint模型包含生成图像的所有必要信息，我们可以通过其文件大小来识别，Checkpoint 它们的体积范围从 2 GB 到 7 GB不等，Hypernetwork通常低于 200 MB。

​ Hypernetwork无法单独使用，它需要与checkpoint模型配合来生成图像。


  • Hypernetwork VS LoRA模型

    Hypernetwork与LoRA 模型很相似，它们的文件大小相似，通常低于 200MB，都比checkpoint模型小。

    有一个事实是：LoRA 模型比Hypernetwork模型效果更好。


  • Hypernetwork VS Embeddings

    Embeddings是一种称为Textual Inversion”文本反转”的微调方法，它只是定义新的关键字来实现某些样式。与 HypernetworkEmbeddings一样， 不会改变模型Embeddings和Hypernetwork适用于stable diffusion模型的不同部分。

    Embeddings在文本编码器中创建新的嵌入。

    Hypernetwork将一个小型网络插入噪声预测器的cross-attention模块中。


3、Hypernetwork 的下载安装

​ 这里我们以c站下载Hypernetwork 模型为例进行说明。


​ 第一步，浏览器中打开c站，搜索 Hypernetwork

在这里插入图片描述


第二步，选择喜欢的 Hypernetwork模型，下载即可

我们这里以下载这个 Hypernetwork模型演示，如下：

在这里插入图片描述


下载完成，得到waterElemental_10.pt 文件


第三步，将这个模型文件拷贝到 \sd-webui-aki-v4.2\models\hypernetworks 目录

\sd-webui-aki-v4.2\models\hypernetworks

在这里插入图片描述

重新启动 stable diffusion 使其生效。


4、Hypernetwork 的使用

Hypernetwork的使用方式与Embeddings 类似，区别是 Hypernetwork 用在正向提示词中，而Embeddings 是用在反向提示词中。


我们的按钮使用的 Hypernetwork 模型是：

Water Elemental(水元素)

Water Elemental(水元素)是一个独特的超网络，可以将任何东西变成水!

在主题之前使用短语water elementa"可以将此超网络与Stable Diffusion v1.5结合使用，更改超网络权重以调整水效果。


(1)、设置正向提示词

water elemental woman walking across a busy street

(2)、选择 Water Elemental Hypernetwork 模型
在这里插入图片描述


选择 Water Elemental Hypernetwork 模型后，在正向提示词里面会自动添加：

在这里插入图片描述


(3)、设置参数

  • 采样算法：DPM++2M Karras
  • 迭代步数：15
  • CFG Scale: 7

在这里插入图片描述


（4）、点击按钮， 效果如下：

在这里插入图片描述


好了，今天的内容就分享到这里，后面我们将持续分享有关 Stable Diffusion 的干货，喜欢的朋友请关注我，我们下次再见。


相关文章：

AI 绘画Stable Diffusion 研究（十六）SD Hypernetwork详解

大家好，我是风雨无阻。 本期内容： 什么是 Hypernetwork？Hypernetwork 与其他模型的区别？Hypernetwork 原理Hypernetwork 如何下载安装？Hypernetwork 如何使用？ 在上一篇文章中，我们详细介绍了 …...

编程日记 2023/8/27 2:38:14

2023.8 -java - 继承

继承就是子类继承父类的特征和行为，使得子类对象（实例）具有父类的实例域和方法，或子类从父类继承方法，使得子类具有父类相同的行为。 继承的特性 子类拥有父类非 private 的属性、方法。 子类可以拥有自己的属性和方法…...

编程日记 2023/8/27 2:37:13

前端面试：【移动端开发】PWA、Hybrid App和Native App的比较

在移动端开发中，开发者有多种选择，包括渐进式Web应用（PWA），混合应用（Hybrid App）和原生应用（Native App）。每种方法都有其独特的优势和适用场景。本文将对它们进行比较&a…...

编程日记 2023/8/27 2:36:12

picGo+gitee+typora设置图床

picGogiteetypora设置图床 picGogitee设置图床下载picGo软件安装picGo软件gitee操作在gitee中创建仓库在gitee中配置私人令牌 配置picGo在插件设置中搜索gitee插件并进行下载 TyporapicGo设置Typora 下载Typora进行图像设置 picGogitee设置图床 当我了解picGogitee可以设置图床…...

编程日记 2023/8/27 2:35:11

[JavaWeb]【十三】web后端开发-原理篇

目录 一、SpringBoot配置优先级 1.1 配置优先级比较 1.2 java系统属性和命令行参数 1.3 打包运行jar 1.4 综合优先级​编辑 二、Bean管理 2.1 获取bean 2.2 bean作用域 2.2.1 五种作用域 2.2.2 配置作用域 2.3 第三方bean 2.3.1 编写公共配置类 三、SpringBoot原理 …...

编程日记 2023/8/27 2:34:10

服务注册中心 Eureka

服务注册中心 Eureka Spring Cloud Eureka 是 Netflix 公司开发的注册发现组件，本身是一个基于 REST 的服务。提供注册与发现，同时还提供了负载均衡、故障转移等能力。 Eureka 有 3 个角色 服务中心（Eureka Server）：…...

编程日记 2023/8/27 2:33:08

SpringIoC组件的高级特性

目录 一、Bean组件的周期与作用域 二、FactoryBean接口 一、Bean组件的周期与作用域 1.1 Bean组件的生命周期 什么是Bean的周期方法 我们可以在组件类中定义方法，然后当IoC容器实例化和销毁组件对象的时候进行调用！这两个方法我们成为生命周期方法&a…...

编程日记 2023/8/27 2:32:07

Linux--进程地址空间

1.线程地址空间 所谓进程地址空间（process address space），就是从进程的视角看到的地址空间，是进程运行时所用到的虚拟地址的集合。 简单地说，进程就是内核数据结构和代码和本身的代码和数据，进程本身不能…...

编程日记 2023/8/27 2:31:04

ISIS路由协议

骨干区域与非骨干区域 凡是由级别2组建起来的邻居形成骨干区域；级别1就在非骨干区域，骨干区域有且只有一个，并且需要连续，ISIS在IP环境下目前不支持虚链路。 路由器级别 L1路由器只能建立L1的邻居；L2路由器只能建立L…...

编程日记 2023/8/27 2:30:03

论文解读：Bert原理深入浅出

摘取于https://www.jianshu.com/p/810ca25c4502 任务1：Masked Language Model Maked LM 是为了解决单向信息问题，现有的语言模型的问题在于，没有同时利用双向信息，如 ELMO 号称是双向LM，但实际上是两个单向 RNN 构成的…...

编程日记 2023/8/27 2:29:01

共享内存 windows和linux

服务端&#xff0c;即写入端 #include <iostream> #include <string.h> #define BUF_SIZE 1024 #ifdef _WIN32 #include <windows.h> #define SHARENAME L"shareMemory" HANDLE g_MapFIle; LPVOID g_baseBuffer; #else #define SHARENAME "sh…...

编程日记 2023/8/27 2:27:59

一个mongodb问题分析

mongodb问题分析 现状 表的个数&#xff1a; 生产上常用的表就10来个。 sharding cluster replica set方式部署&#xff1a; 9个shard server&#xff0c; 每个shard server 1主2从&#xff0c; 大量数据写入时或对大表创建索引时&#xff0c;可能有主从复制延迟问题。实…...

编程日记 2023/8/27 2:26:58

Vue3.0极速入门- 目录和文件说明

目录结构 以下文件均为npm create helloworld自动生成的文件目录结构 目录截图 目录说明 目录/文件说明node_modulesnpm 加载的项目依赖模块src这里是我们要开发的目录&#xff0c;基本上要做的事情都在这个目录里assets放置一些图片&#xff0c;如logo等。componentsvue组件…...

编程日记 2023/8/27 2:25:57

RabbitMQ---订阅模型-Direct

1、 订阅模型-Direct • 有选择性的接收消息 • 在订阅模式中&#xff0c;生产者发布消息&#xff0c;所有消费者都可以获取所有消息。 • 在路由模式中&#xff0c;我们将添加一个功能 - 我们将只能订阅一部分消息。 例如&#xff0c;我们只能将重要的错误消息引导到日志文件…...

编程日记 2023/8/27 2:24:56

Django REST framework实现api接口

drf 是Django REST framework的简称&#xff0c;drf 是基于django的一个api 接口实现框架&#xff0c;REST是接口设计的一种风格。 一、 安装drf pip install djangorestframework pip install markdown # Markdown support for the browsable API. pip install …...

编程日记 2023/8/27 2:23:54

4.19 20

服务端没有 listen&#xff0c;客户端发起连接建立&#xff0c;会发生什么&#xff1f; 服务端如果只 bind 了 IP 地址和端口&#xff0c;而没有调用 listen 的话&#xff0c;然后客户端对服务端发起了连接建立&#xff0c;服务端会回 RST 报文。 没有 listen&#x…...

编程日记 2023/8/27 2:22:53

(动态规划) 剑指 Offer 10- II. 青蛙跳台阶问题 ——【Leetcode每日一题】

❓剑指 Offer 10- II. 青蛙跳台阶问题 难度&#xff1a;简单 一只青蛙一次可以跳上1级台阶&#xff0c;也可以跳上2级台阶。求该青蛙跳上一个 n 级的台阶总共有多少种跳法。 答案需要取模 1e97&#xff08;1000000007&#xff09;&#xff0c;如计算初始结果为&#xff1a;1…...

编程日记 2023/8/27 2:21:52

物联网WIFI 模块AT指令版本七大元凶

前言 目前我们讨论的这个问题&#xff0c;并不是说WIFI方案不具备以应的功能。而是指在同一个AT固件下可能存在的问题。由于各厂商AT指令的开发深度不同&#xff0c;导致各厂商之间的AT指令差异很大。我总结了一些问题&#xff0c;可能是导致目前AT指令不好用元凶。 底层库问题…...

编程日记 2023/8/27 2:20:49

Qt 正则（数据格式校验、替换指定格式数据、获取匹配数据）

头文件引用 #include <QRegExp>初始化QRegExp实列 QRegExp re("^\\d{1,3},\\d{1,3}$");数据格式验证 QRegExp re("^\\d{1,3},\\d{1,3}$"); QString msg "12,33"; if(re.exactMatch()){// 验证通过 }else{//验证不通过 }替换数…...

编程日记 2023/8/27 2:19:48

网络层协议——ip

文章目录 1. 网络层2. IP协议2.1 协议头格式 3. 网段划分3.1 特殊的IP地址3.2 IP地址的数量限制 4. 私有IP地址和公网IP地址 1. 网络层 在应用层解决了如何读取完整报文、序列化反序列化、协议处理问题。在传输层解决了可靠性问题。那么网络层IP的作用是在复杂的网络环境中确定…...

编程日记 2023/8/27 2:18:48

Qt6和Rust结合构建桌面应用

桌面应用程序是原生的、快速的、安全的&#xff0c;并提供Web应用程序无法比拟的体验。 Rust 是一种低级静态类型多范式编程语言&#xff0c;专注于安全性和性能&#xff0c;解决了 C/C 长期以来一直在努力解决的问题&#xff0c;例如内存错误和构建并发程序。 在桌面应用程序开…...

编程日记 2023/8/27 2:17:46

Kubernetes（K8S）简介

Kubernetes (K8S) 是什么 它是一个为 容器化 应用提供集群部署和管理的开源工具&#xff0c;由 Google 开发。Kubernetes 这个名字源于希腊语&#xff0c;意为“舵手”或“飞行员”。k8s 这个缩写是因为 k 和 s 之间有八个字符的关系。 Google 在 2014 年开源了 Kubernetes 项…...

编程日记 2023/8/27 2:16:45

面试中问：React中函数组件和class组件的区别，hooks模拟生命周期

React中函数组件和class组件的区别&#xff0c;hooks模拟生命周期 React中函数组件和class组件的区别hooks模拟生命周期 React中函数组件和class组件的区别 函数组件: 定义&#xff1a;函数组件是使用纯函数定义的组件&#xff0c;它接受 props 作为参数并返回 JSX。简洁性&am…...

编程日记 2023/8/27 2:15:44

Python高光谱遥感数据处理与高光谱遥感机器学习方法应用

本文提供一套基于Python编程工具的高光谱数据处理方法和应用案例。 本文涵盖高光谱遥感的基础、方法和实践。基础篇以学员为中心&#xff0c;用通俗易懂的语言解释高光谱的基本概念和理论&#xff0c;旨在帮助学员深入理解科学原理。方法篇结合Python编程工具&#xff0c;专注…...

编程日记 2023/8/27 2:14:43

Java实现接收xml格式数据并解析，返回xml格式数据

需求描述&#xff1a;后端接受xml格式数据&#xff0c;解析出相应数据&#xff0c;并返回xml格式数据。 <!--XML解析--><dependency><groupId>com.fasterxml.jackson.dataformat</groupId><artifactId>jackson-dataformat-xml</artifactId>…...

编程日记 2023/8/27 2:13:42

【C++】初步认识模板

&#x1f3d6;️作者&#xff1a;malloc不出对象 ⛺专栏&#xff1a;C的学习之路 &#x1f466;个人简介&#xff1a;一名双非本科院校大二在读的科班编程菜鸟&#xff0c;努力编程只为赶上各位大佬的步伐&#x1f648;&#x1f648; 目录 前言一、泛型编程二、函数模板2.1 函…...

编程日记 2023/8/27 2:12:41

Ansible 临时命令搭建安装仓库

创建一个名为/ansible/yum.sh 的 shell 脚本&#xff0c;该脚本将使用 Ansible 临时命令在各个受管节点上安装 yum 存储库. 存储库1&#xff1a; 存储库的名称为 EX294_BASE 描述为 EX294 base software 基础 URL 为 http://content/rhel8.0/x86_64/dvd/BaseOS GPG 签名检查为…...

编程日记 2023/8/27 2:11:40

phpstorm动态调试

首先在phpstudy搭建好网站&#xff0c;在管理拓展开启xdebug拓展 查看php.ini配置已经更改 需要增添修改一下设置 [Xdebug] zend_extensionD:/phpstudy_pro/Extensions/php/php5.6.9nts/ext/php_xdebug.dll xdebug.collect_params1 xdebug.collect_return1 xdebug.auto_trace…...

编程日记 2023/8/27 2:10:35

二叉树的层序遍历及完全二叉树的判断

文章目录 1.二叉树层序遍历 2.完全二叉树的判断 文章内容 1.二叉树层序遍历 二叉树的层序遍历需要一个队列来帮助实现。 我们在队列中存储的是节点的地址&#xff0c;所以我们要对队列结构体的数据域重定义&#xff0c; 以上代码 从逻辑上来讲就是1入队&#xff0c;1出队&am…...

编程日记 2023/8/27 2:09:33

java八股文面试[JVM]——JVM内存结构

参考&#xff1a; JVM学习笔记&#xff08;一&#xff09;_卷心菜不卷Iris的博客-CSDN博客 JVM是运行在操作系统之上的&#xff0c;它与硬件没有直接的交互 JVM内存结构&#xff1a; 方法区&#xff1a;存储已被虚拟机加载的类元数据信息(元空间) 堆&#xff1a;存放对象实…...

编程日记 2023/8/27 2:08:32

asp.net jsp 网站/长春做网络优化的公司

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 安全生产模拟考试一点通&#xff1a;山东省安全员C证考试是安全生产模拟考试一点通生成的&#xff0c;山东省安全员C证证模拟考试题库是根据山东省安全员C证最新版教材汇编出山东省安全员C证仿真模拟考试。2021年山东…...

编程日记 2024/11/15 12:38:37

深圳市住建局和建设局官网/seo排名怎么做

参考链接: class.__mro__ 参考链接: class.mro() 参考链接: class.__subclasses__() 实验代码展示: # class Person(): # class Person(object): # class Person: class Person: # class Person(object): # class Person: # class Person(): 这三种写法都是可以的定义基类Pe…...

编程日记 2024/11/15 11:28:36

wordpress new page/优化方案电子版

近日&#xff0c;360公司董事长周鸿祎做客腾讯科技《新产品经理》系列访谈&#xff0c;期间他将自己多年的产品心得和盘托出&#xff0c;甚至访谈中都不需要腾讯科技发问。不得不说&#xff0c;这 场访谈也是在《新产品经理》系列访谈中最精彩的对话之一。前言少叙&#xff0c;…...

编程日记 2024/11/15 11:27:36

南宁美容网站建设/北京seo做排名

目录 1.Spring家族 2.IOC 2.1IOC原理 DI 依赖注入&#xff08;DI&#xff09;的方式&#xff1a; IOC的优势 IOC运行流程 SpringIOC支持的功能 2.2SpringIOC的应用 2.2.1BeanDefinitionRegistry 2.2.2BeanFactory 2.2.3ApplicationContext 2.2.4Bean是如何装载在s…...

编程日记 2024/11/15 10:49:59

网络代理设置关闭是什么意思/苏州seo门户网

行为型模式第二部分&#xff1a;解释器模式、中介者模式、訪问者模式、策略模式、备忘录模式、迭代器模式。 解释器模式 给定一个语言。定义它的文法的一种表示。并定义一个解释器。这个解释器使用该表示来解释语言中的句子。使用时期假设一种特定类型的问题发生的频率足够高。…...

编程日记 2024/11/15 10:24:34

网站建设php文件html文件/全专业优化公司

无法可依&#xff0c;有法不依&#xff0c;执法不严&#xff0c;使药品、食品安全问题成了人们恐惧的心病&#xff01;一些学者、专家把问题揭发出来了&#xff0c;可是又有一些学者和专家出来解释&#xff0c;说什么少吃点儿没有危害&#xff0c;希望市民不必大惊小怪等等。然…...

编程日记 2024/11/15 9:38:51