stable diffusion实践操作-hypernetworks

系列文章目录

本文专门开一节写hypernetworks的内容，在看之前，可以同步关注：
stable diffusion实践操作

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

`本章注意要介绍Hypernetwork，也叫做超网络，下面是一个原理概述。

---

一、hypernetworks是什么？

1 能做什么？

中文名字叫超网络，功能和embedding，lora类似，都是对生成的图片进行针对性的调整，小白可以理解为低配版本的lora。

因为hypernetworks主要用来训练画风，训练难度较大，很有可能被后出现的lora所替代，不过人家既然能坚持到现在，说明也有它的两把刷子。我觉得它最重要，也最好的功能就是对画面风格的转换。
下面这个就是把漫画风格转换为像素风格。

除了画风，它其实也可以训练人物和物品，比如电影角色，但是大家为什么用的少呢，它做到了神似，但是想要高精度还原的话，还是要借助于lora.

2 原理

SD的原理可以这样理解，我们发送一段文本到SD中，然后输出一张符合预期的图片。
embedding就作用于编码器中，影响最后的输出。

在整个运算当中，所有的计算都是在diffusion模型中进行，这个diffusion就是一种神经网络模型。
超网络如下图，通过控制神经网络的权重，最后来完成某种风格的图片输出。

3 与其它区别

总结如下

二、如何使用

1 下载与存放

下载后存放地址：sd-webui-aki-v4.2\models\hypernetworks

2 如何使用

和lora比较类似，hypernet:名称：权重，提示词

<hypernet:Multi-waifu-mix_v1.0:1>，alice zuberg

具体细节可以看下图

3 注意事项

因为超网络会影响模型权重，所以如果想要用好超网络，需要遵从以下几点要求：

三、收集到的模型

---

下载链接：
国内的是：https://www.liblibai.com
国外的是：https://civitai.com
下载后存放地址：sd-webui-aki-v4.2\models\hypernetworks

序号	名称	说明
1	Multi-waifu-mix	漫画女孩
2	$1
导3	$1

1.1 Multi-waifu-mix

下载链接：https://www.liblibai.com/modelinfo/20ad3e989d47d74745ccf14bcc73c411
基础模型：SD1.5（AWPainting_v1.2_liblib_sd15.safetensors）
触发词语：根据角色不同来确定
正面提示词：

fantasy,landscape,best quality,highly detailed,
<hypernet:Multi-waifu-mix_v1.0:1>,1girl,esdeath \(genshin impact\),

反面提示词：

lowres,bad anatomy,bad hands,text,error,missing fingers,
extra digit,fewer digits,cropped,worst quality,
low quality,normal quality,jpeg artifacts,signature,
watermark,username,blurry,artist name,

该模型包含了很多角色，可以根据需要进行挑选：

V1.0 model containing 75 characters:
aisaka taiga
alice zuberg
altina orion
angela balzac
angelina kudou shields
aqua (konosuba)
ayanami (azur lane)
black heart
darkness (konosuba)
echidna (re:zero)
elaina (majo no tabitabi)
emilia (re:zero)
eris greyrat
eula (genshin impact)
fujibayashi kyou
furuhashi fumino
gokou ruri
gotou hitori
hiiragi shinoa
himeragi yukina
hiroi kikuri
holo
...

图1 vladilena millize

图2 alice zuberg

总结

以上就是今天要讲的内容。