[动手学深度学习]生成对抗网络GAN学习笔记
论文原文:Generative Adversarial Nets (neurips.cc)
李沐GAN论文逐段精读:GAN论文逐段精读【论文精读】_哔哩哔哩_bilibili
论文代码:http://www.github.com/goodfeli/adversarial
Ian, J. et al. (2014) 'Generative adversarial network', NIPS'14: Proceedings of the 27th International Conference on Neural Information Processing Systems, Vol. 2, pp 2672–2680. doi: https://doi.org/10.48550/arXiv.1406.2661
目录
1. GAN论文原文学习
1.1. Abstract
1.2. Introduction
1.3. Related work
1.4. Adversarial nets
1.5. Theoretical Results
1.5.1. Global Optimality of p_g = p_data
1.5.2. Convergence of Algorithm 1
1.6. Experiments
1.7. Advantages and disadvantages
1.8. Conclusions and future work
2. 知识补充
2.1. Divergence
2.2. 唠嗑一下
1. GAN论文原文学习
1.1. Abstract
①They combined generative model and discriminative model
together, which forms a new model.
is the "cheating" part which focus on imitating and
is the "distinguishing" part which focus on distinguishing where the data comes from.
②This model is rely on a "minmax" function
③GAN does not need Markov chains or unrolled approximate inference nets
④They designed qualitative and quantitative evaluation to analyse the feasibility of GAN
1.2. Introduction
①The authors praised deep learning and briefly mentioned its prospects
②Due to the difficulty of fitting or approximating the distribution of the ground truth, the designed a new generative model
③They compare the generated model to the person who makes counterfeit money, and the discriminative model to the police. Both parties will mutually promote and grow. The authors ultimately hope that the ability of the counterfeiter can be indistinguishable from the genuine product
④Both and
are MLP, and
passes random noise
⑤They just adopt backpropagation and dropout in training
corpora 全集;corpus 的复数
counterfeiter n.伪造者;制假者;仿造者
1.3. Related work
①Recent works are concentrated on approximating function, such as succesful deep Boltzmann machine. However, their likelihood functions are too complex to process.
②Therefore, here comes generative model, which only generates samples but does not approximates function. Generative stochastic networks are an classic generative model.
③Their backpropagation:
④Variational autoencoders (VAEs) in Kingma and Welling and Rezende et al. do the similar work. However, VAEs are modeled by differentiate hidden units, which is contrary to GANs.
⑤And some others aims to approximate but are hard to. Such as Noise-contrastive estimation (NCE), discriminating data under noise, but limited in its discriminator.
⑥The most relevant work is predictability minimization, it utilize other hiden units to predict given unit. However, PM is different from GAN in that (a) PM focus on objective function minimizing, (b) PM is just a regularizer, (c) the two networks in PM respectively make output similar or different
⑦Adversarial examples distinguish which data is misclassified with no generative function
1.4. Adversarial nets
①They designed a minimax function:
where denotes generator's distribution,
represents data,
denotes prior probability with noise,
denotes a differentiable function, namely a MLP layer, with parameters
,
also denotes a MLP layer with its output is a scalar, where the scalar is the probability that
is real data exceeds the probability that it is generated data
②They train and
together with maximizing
and minimizing
③They reckon is more likely to be overfitting. Hence, k-steps of optimizing
and 1-step optimizing of
is more suitable
④ is relatively weak in early stages, thus train
first might achieve better results
pedagogical adj.教育学的;教学论的
1.5. Theoretical Results
①Their fitting diagram:
where is blue and dashed line,
is green and solid line, the real data distribution is black and dashed line,
converges to
. And when it equals to
with
that means
can not discriminate any data
②Pseudocode of GAN:
1.5.1. Global Optimality of p_g = p_data
①They need to maximize for
:
for any coefficient , the value of expression
achieves its maximum when
. Thus
②Then change the original function to:
③ is the minimum of
when
④KL divergence used for it:
⑤JS divergence used for it:
and the authors recognized the non negative nature of JS divergence more, therefore adopting JS divergence
1.5.2. Convergence of Algorithm 1
①The function is convex so that when gradient updating tends to stabilize, it may achieve the global optima
②Parzen window-based log-likelihood estimates:
where they adopt mean loglikelihood of samples on MNIST, standard error across folds of TFD
supremum n.上确界;最小上界;上限
1.6. Experiments
①Datasets: MNIST, Toronto Face Database (TFD), CIFAR-10
②Activation: combination of ReLU and Sigmoid for generator, Maxout for discriminator
③Adopting dropout in discriminator
④Noise is only allowed as the bottommost input
⑤Their Gaussian Parzen window method brings high variance and performs somewhat poor in high dimensional spaces
1.7. Advantages and disadvantages
(1)Disadvantages
①There is no clear representation of
②It is difficult to achieve synchronous updates between and
(2)Advantages
①No need for Markov chain
②Updating by gradients instead of data
③They can express any distribution
1.8. Conclusions and future work
①Samples (left) and generative data (right with yellow outlines) in (a) MNIST, (b) TFD, (c) CIFAR-10 (fully connected model), (d) CIFAR-10 (convolutional discriminator and “deconvolutional” generator):
②"Digits obtained by linearly interpolating between coordinates in space of the full model":
③Their summary of challenges in different parts:
interpolate v.〈数〉插(值),内插,内推;计算(中间值);插入(字句等);添加(评论或字句);篡改;插话,插嘴
2. 知识补充
2.1. Divergence
(1)Kullback–Leibler divergence (KL divergence)
①相关链接:机器学习:Kullback-Leibler Divergence (KL 散度)_kullback-leibler散度-CSDN博客
②关于KL散度(Kullback-Leibler Divergence)的笔记 - 知乎 (zhihu.com)
(2)Jensen–Shannon divergence (JS divergence)
①理解JS散度(Jensen–Shannon divergence)-CSDN博客
2.2. 唠嗑一下
(1)论文倒是精简易懂,特别是配上李沐的讲解之后更没啥大问题了。但是作者提供的源码还是有点过于爆炸,且README没有多说。很难上手啊,新人完全不推荐
相关文章:
![](https://img-blog.csdnimg.cn/ffa639ef1cb843cda3eb638e36c6d95b.png)
[动手学深度学习]生成对抗网络GAN学习笔记
论文原文:Generative Adversarial Nets (neurips.cc) 李沐GAN论文逐段精读:GAN论文逐段精读【论文精读】_哔哩哔哩_bilibili 论文代码:http://www.github.com/goodfeli/adversarial Ian, J. et al. (2014) Generative adversarial network…...
![](https://img-blog.csdnimg.cn/638de5f2b6bf48978dd6cc3ed2e63b89.png)
Kotlin中的算数运算符
在Kotlin中,我们可以使用各种算术运算符来进行数值计算和操作。下面对这些运算符进行详细描述,并提供示例代码。 正号(正数)和负号(负数): 正号用于表示一个正数,不对数值进行任何…...
![](https://img-blog.csdnimg.cn/0d8f9104917a4d6e894c53e25fa8946f.png)
Linux高性能服务器编程 学习笔记 第十六章 服务器调制、调试和测试
Linux平台的一个优秀特性是内核微调,即我们可以通过修改文件的方式来调整内核参数。 服务器开发过程中,可能会碰到意想不到的错误,一种调试方法是用tcpdump抓包,但这种方法主要用于分析程序的输入和输出,对于服务器的…...
![](https://www.ngui.cc/images/no-images.jpg)
第三期:云函数入门指南答案
1.云函数需要用户自行考虑租用/购买多少资源以达到最少成本最高效运行自己的函数。 答案:错误(False) 2.Cloud Functions可以为您准备好计算资源,弹性地、可地运行任务,并提供日志查询、性能监控和报警等功能。 答案:正确(True…...
![](https://img-blog.csdnimg.cn/5ff63006f1c0444799b121673b54f83f.png)
企业怎么通过数字化工具来实现数字化转型?
数字化转型是使用数字技术和工具从根本上改变公司运营方式并向客户提供价值的过程。它涉及思维方式、流程和技术的全面转变,以跟上快节奏的数字时代。以下是有关公司如何通过数字工具实现数字化转型的分步指南: 1.定义您的愿景和目标: 首先确…...
![](https://img-blog.csdnimg.cn/823f10a3e580496eb97cc0132ff06228.gif)
React函数式写法和类式写法的区别(以一个计数器功能为例子)
函数式写法更加简洁和函数式编程思维导向,适用于无状态、UI纯粹的组件,且可以使用Hooks处理副作用。而类式写法适用于有内部状态、生命周期方法和复杂交互逻辑的组件,提供了更多的灵活性和控制力。 文章目录 一、计数器功能演示 1.函数式写法…...
![](https://www.ngui.cc/images/no-images.jpg)
【根据国防科大学报官网word模板修改的Latex模板】
根据国防科大学报官网word模板修改的Latex模板 学报Word模板链接Latex模板结构编译环境为Texlivevscode或Textstudio 学报Word模板链接 学报官网相关下载链接 点击链接即可前往官网下载相关word模板 Latex模板结构 latex模板 ass.cfg文件 %深层模板文件ass.cls文件 %浅层模板…...
![](https://www.ngui.cc/images/no-images.jpg)
系列十一、Redis中分布式缓存实现
一、缓存 1.1、什么是缓存 内存就是计算机内存中的一段数据。 1.2、内存中的数据特点 读写快断电数据丢失 1.3、缓存解决了什么问题 提高了网站的吞吐量和运行效率减轻了数据库的访问压力 1.4、哪些数据适合加缓存 使用缓存时,一定是数据库中的数据极少发生改…...
![](https://www.ngui.cc/images/no-images.jpg)
Spark大数据分析与实战笔记(第一章 Scala语言基础-4)
文章目录 每日一句正能量1.4 Scala面向对象的特性1.4.1 类与对象的特性1.4.2 继承1.4.3 单例对象和伴生对象1.4.4 特质 每日一句正能量 若要快乐,就要随和;若要幸福,就要随缘。快乐是心的愉悦,幸福是心的满足。别和他人争吵&#…...
![](https://img-blog.csdnimg.cn/09567dda267847eea03703719d5d4839.png)
腾讯云服务器端口localhost可以访问,外部无法访问解决
搭建frp跳板,发现无法使用。ssh 连接不上。 主要检查2个东西: 1. ubuntu ufw系统防火墙。这个默认是关掉的 2. tencent这个防火墙规则设置后,还要设置到实例上。 以前不是这样的。就掉坑里了。 # systemctl rootVM-4-4-ubuntu:/lib/syst…...
![](https://img-blog.csdnimg.cn/2fd3899bf61b4c8f82334df4630331ca.png)
【软考-中级】系统集成项目管理工程师 【16 变更管理】
持续更新。。。。。。。。。。。。。。。 【第十六章】变更管理 (选择2分 考点 1:变更的常见原因考点 2:变更管理的原则是项目基准化、变更管理过程规范化考点 3考点 4考点 5:变更的工作程序考点 6考点 7考点 8考点 9考点 10考点 11考点 12:变更分类系列文章经典语录 考点 1:变…...
![](https://img-blog.csdnimg.cn/ba721df27b8c4a92b851c85d3f9ab579.png)
【Eclipse】查看版本号
1.在Eclipse的启动页面会出现版本号 2. Eclipse的关于里面 Help - About Eclipse IDE 如下图所示,就为其版本 3.通过查看readme_eclipse.html文件...
![](https://www.ngui.cc/images/no-images.jpg)
论文精讲目录
ViT论文逐段精读【论文精读】MoCo 论文逐段精读【论文精读】对比学习论文综述【论文精读】Swin Transformer论文精读【论文精读】CLIP 论文逐段精读【论文精读】双流网络论文逐段精读【论文精读】I3D 论文精读【论文精读】视频理解论文串讲(上)【论文精读…...
![](https://www.ngui.cc/images/no-images.jpg)
双飞翼布局和圣杯布局
双飞翼布局和圣杯布局都是一种三栏布局,其中主要内容区域位于中间,左侧栏和右侧栏位于两侧。它们的实现方式类似,但有一些细微的差别。 双飞翼布局的实现原理是通过使用flex布局,给主要内容区域设置flex:1;…...
![](https://www.ngui.cc/images/no-images.jpg)
Hive insert插入数据与with子查询
1. insert into 与 insert overwrite区别 insert into 与 insert overwrite 都可以向hive表中插入数据,但是insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入 注意:如果存在分…...
![](https://www.ngui.cc/images/no-images.jpg)
如何在Django中集成JWT
文章目录 JWT简介在Django中使用JWT1. 安装2. 配置3. 添加认证接口 客户端使用JWT1. 获取新token2. 调用API3. 刷新token 同步发布在个人站点:https://panzhixiang.cn JWT简介 JWT(JSON Web Token)是一种流行的跨域认证解决方案。它可以在令牌中安全地传输用户身份…...
![](https://www.ngui.cc/images/no-images.jpg)
hive进行base64 加密解密函数
加密 select base64(cast(abcd as binary))YWJjZA 解密 -- 直接解密(结果字段格式为比binary格式) select unbase64(YWJjZA) -- 格式转换 select cast(unbase64(YWJjZA) as string) abcd...
![](https://img-blog.csdnimg.cn/9baae0979dd94878a220d3a26d687e82.png)
Docker安装GitLab及使用图文教程
作者: 宋发元 GitLab安装及使用教程 官方教程 https://docs.gitlab.com/ee/install/docker.html Docker安装GitLab 宿主机创建容器持久化目录卷 mkdir -p /docker/gitlab/{config,data,logs}拉取GitLab镜像 docker pull gitlab/gitlab-ce:15.3.1-ce.0运行GitLa…...
![](https://img-blog.csdnimg.cn/9d6398ae1d9f4b32b261c78fc87ec515.png)
asp.net酒店管理系统VS开发sqlserver数据库web结构c#编程Microsoft Visual Studio
一、源码特点 asp.net酒店管理系统是一套完善的web设计管理系统,系统具有完整的源代码和数据库,系统主要采用B/S模式开发。开发环境为vs2010,数据库为sqlserver2008,使用c#语言开发 asp.net 酒店管理系统1 二、功能介绍 …...
![](https://img-blog.csdnimg.cn/cb41e6d8894d4160af576b17bb5e814b.png)
Yolov安全帽佩戴检测 危险区域进入检测 - 深度学习 opencv 计算机竞赛
1 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 Yolov安全帽佩戴检测 危险区域进入检测 🥇学长这里给一个题目综合评分(每项满分5分) 难度系数:3分工作量:3分创新点:4分 该项目较为新颖&am…...
![](https://www.ngui.cc/images/no-images.jpg)
vue中动态设置source标签
项目中有个视频播放,路径通过接口返回,而且不带后缀,并不确定是什么类型的视频文件,所以要通过source标签去进行设置. 问题:当video中存在source标签的时候,浏览器渲染之后会自动去获取地址,即便地址改变,浏览器也不会再去获取地址。 解决方…...
![](https://www.ngui.cc/images/no-images.jpg)
【16】基础知识:React路由 - React Router 6
一、概述 了解 React Router 以三个不同的包发布到 npm 上,它们分别为 1、react-router:路由的核心库,提供了很多的组件、钩子。 2、react-router-dom:包含 react-router 所有内容,并添加一些专门用于 DOM 的组件&…...
![](https://img-blog.csdnimg.cn/b79ccbc9e9a7424d806e789531828606.png)
Unity3D 基础——Coroutine 协同程序
Coroutine 称为协同程序或者协程,协同程序可以和主程序并行运行,和多线程有些类似。协同程序可以用来实现让一段程序等待一段时间后继续运行的效果。例如,执行步骤1,等待3秒;执行步骤2,等待某个条件为 true…...
![](https://www.ngui.cc/images/no-images.jpg)
IDEA报错:前言中不允许有内容
idea启动项目提示前言中不允许有内容 .idea\libraries\Maven__axis2_axis2_1_0.xml: ParseError at [row,col]:[1,1] Message: 前言中不允许有内容。 解决方法: 首先修改设置:IDEA–>File–>Settings–>File Encodings–>with No BOM选中报…...
![](https://img-blog.csdnimg.cn/e1d98b87ea704b84824769b56a9d20af.png)
在线课堂分销商城小程序源码系统 带完整搭建教程
大家好啊,今天来给大家分享一个在线课堂分销商城小程序源码系统,一起来看看吧。以下是部分功能实现的核心代码: 系统特色功能一览: 商品模块。包括实物商品、虚拟商品和电子卡密等,每种商品可以设置对应的商品分类。同…...
![](https://img-blog.csdnimg.cn/b93a6fc148104c049f6ae4f72bdc94f1.png)
【存储系统】0. 序
学习资料:大话存储 存储系统底层架构原理极限剖析 终极版 张冬编著——清华大学出版社 2015.01 文章目录 0.1 序0.1.1 信息存储技术溯源0.1.2 数字化信息推动存储技术发展0.1.3 数字存储技术 0.2 存储系统介绍0.2.1 信息0.2.2 数据0.2.3 数据存储0.2.4 用计算机来处…...
逐字稿 | 2 MoCo 论文逐段精读【论文精读】
bryanyzhu的个人空间-bryanyzhu个人主页-哔哩哔哩视频 评价 今天我们一起来读一下 MOCO 这篇论文。 MOCO 是 CVPR 2020 的最佳论文提名,算是视觉领域里使用对比学习的一个里程碑式的工作。而对比学习作为从 19 年开始一直到现在视觉领域乃至整个机器学习领域里最炙…...
![](https://img-blog.csdnimg.cn/d0ddb2f6a5ea4b078a6f4b55a47f9ee8.jpeg#pic_center)
【数据结构】排序算法的稳定性分析
💐 🌸 🌷 🍀 🌹 🌻 🌺 🍁 🍃 🍂 🌿 🍄🍝 🍛 🍤 📃个人主页 :阿然成长日记 …...
![](https://img-blog.csdnimg.cn/img_convert/a7db822547ede3a17e970c4f8ce5d113.png)
Redis AOF持久化和ReWrite
前言 Redis 的 RDB 持久化机制简单直接,把某一时刻的所有键值对以二进制的方式写入到磁盘,特点是恢复速度快,尤其适合数据备份、主从复制场景。但如果你的目的是要保证数据可靠性,RDB 就不太适合了,因为 RDB 持久化不…...
Flink学习之旅:(一)Flink部署安装
1.本地搭建 1.1.下载Flink 进入Flink官网,点击Downloads 往下滑动就可以看到 Flink 的所有版本了,看自己需要什么版本点击下载即可。 1.2.上传解压 上传至服务器,进行解压 tar -zxvf flink-1.17.1-bin-scala_2.12.tgz -C ../module/ 1.3.启…...
![](https://img2018.cnblogs.com/blog/327258/201812/327258-20181228183334719-1365695864.png)
网站制作样板/百度关键词排名神器
.NetCore 下开发独立的(RPL)含有界面的组件包 (一)准备工作 .NetCore 下开发独立的(RPL)含有界面的组件包 (二)扩展中间件及服 务 .NetCore 下开发独立的(RPL࿰…...
![](/images/no-images.jpg)
昆明做网站猫咪科技/许昌网络推广公司
传送门 题意:给出正整数,确定其是否是11的倍数 吴永辉老师给出了两种方法: 方法一:递推(感觉和长除法很想,模拟一个真实的除法) 设高精度整数位Aa(0).....a(l-1),前i位(a…...
![](/images/no-images.jpg)
做网站是否过时了/怎样设计一个网页
网上看到很多移动端适配的各种方法,由于原来工作中对rem的疏忽,所以决定重新学习rem~ 由于移动端特殊性,本文讲的是如何使用rem实现自适应,或叫rem响应式布局,通过使用一个脚本就可以rem自适应,不用再为各种…...
![](/images/no-images.jpg)
安徽做网站的公司/手机百度官网
select * from chenxxlevel where usercode 0000000001 for update;--若这条语句不能修改的话,要加RowID,如下这条sql:后面加for update即可。 转载于:https://www.cnblogs.com/hl3292/archive/2010/11/04/1869232.html...
![](https://img-blog.csdnimg.cn/20201030132151514.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NDY3MDgz,size_16,color_FFFFFF,t_70#pic_center)
益阳 网站制作维护/优化的含义
在使用STM32的hal库的时候,我们常常可以看到很多库自带的函数有很多是使用__weak修饰的,比如: 这个修饰符的作用是什么呢? 函数名称前面加上__weak 修饰符,我们一般称这个函数为“弱函数”。 加上了__weak 修饰符的…...
![](https://img-blog.csdnimg.cn/b6adaa24ea9848a8acd936c04243c375.png)
设计网站推荐平面/今天热搜榜前十名
文章目录前言1. 授权页面一、授权页面1.业务逻辑2.涉及的接口数据二、授权页面相关代码1.页面代码2.效果前言 前言:由于微信官方修改了 getUserInfo 接口,所以现在无法实现一进入微信小程序就弹出授权窗口,只能通过 button 去触发。 自己写…...