Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method--论文笔记

论文笔记

资料

1.代码地址

https://github.com/iBelieveCJM/pseudo_label-pytorch

2.论文地址

3.数据集地址

论文摘要的翻译

本文提出了一种简单有效的深度神经网络半监督学习方法。基本上，所提出的网络是以有监督的方式同时使用标记数据和未标记数据来训练的。对于未标记的数据，只要选取具有最大预测概率的类别，就可以使用伪标签，就好像它们是真标签一样。这实际上等同于熵正则化。它支持类之间的低密度分离，这是半监督学习通常假设的先验条件。在MNIST手写数字数据集上，利用去噪自动编码器和丢弃，这种简单的方法在标签数据非常少的情况下优于传统的半监督学习方法。

1背景

所有训练深度神经网络的成功方法都有一个共同点：它们都依赖于无监督学习算法。大多数工作分两个主要阶段进行。在第一阶段，无监督预训练，所有层的权重通过这种分层的无监督训练来初始化。在第二阶段，微调，在有监督的方式下，使用反向传播算法用标签全局地训练权值。所有这些方法也都以半监督的方式工作。我们只需要使用额外的未标记数据来进行无监督的预训练。
我们提出了一种更简单的半监督方式训练神经网络的方法。基本上，所提出的网络是以有监督的方式同时使用标记数据和未标记数据来训练的。对于未标记的数据，只需选取每次权重更新具有最大预测概率的类，就像使用真标签一样使用伪标签。该方法原则上可以结合几乎所有的神经网络模型和训练方法。
这种方法实际上等同于熵正则化(Granvalet等人，2006年)。类概率的条件熵可用于类重叠的度量。通过最小化未标记数据的熵，可以减少类概率分布的重叠性。它支持类之间的低密度分离，这是半监督学习的常见先验假设。

2论文的创新点

3 论文方法的概述

3.1 思路

伪标签是未标记数据的目标类，就好像它们是真标签一样。我们只选取对每个未标记样本具有最大预测概率的类别。
$$y_i^{\prime }=\{\begin{array}{ll}1& \text{if }i={\text{argmax}}_{i^{\prime }}{f}_{i^{\prime }}(x)\\ 0& \text{otherwise}\end{array}$$我们在Dropout的微调阶段使用伪标签。用标记和未标记的数据同时以有监督的方式训练预先训练的网络。对于未标记的数据，每次权值更新重新计算的伪标签被用于相同的监督学习任务的损失函数。
由于有标签数据和无标签数据的总数有很大不同，并且它们之间的训练平衡对网络性能非常重要，因此总体损失函数为$$L=\frac{1}{n}\sum _{m=1}^n\sum _{i=1}^{C}L(y_i^m,f_i^m)+\alpha (t)\frac{1}{n^{\prime }}\sum _{m=1}^{n^{\prime }}\sum _{i=1}^{C}L(y_i^{\prime m},f_i^{\prime m}$$
其中n是SGD的已标记数据中的批次数，$n\prime$用于未标记数据，$f_i^m$是已标记数据中$m$个样本的输出单位，$y_i^m$是标签，$f_i^{\prime m}$用于未标记数据，$y_i^{\prime m}$是未标记数据的伪标签，$\alpha (t)$是平衡它们的系数。
$\alpha (t)$的合理调度对网络性能非常重要。如果$\alpha (t)$太高，即使对于已标记的数据，也会干扰训练。而如果$\alpha (t)$太小了，我们就不能利用未标记数据的好处。此外，$\alpha (t)$缓慢增加的确定性退火过程有望帮助优化过程避免较差的局部极小值，从而使未标记数据的伪标签尽可能类似于真实标签。$$\alpha (t)=\{\begin{array}{ll}0& t<T_1\\ \frac{t-T_1}{T_2-T_1}{\alpha }_f& T_1\le t<T_2\\ {\alpha }_f& T_2\le t\end{array}$$在${\alpha }_f$=3、$T_1$=100、$T_2$=600的情况下，不进行预训练；在DAE的情况下，$T_1$=200、$T_2$=800。

3.2 Pseudo-Label为什么有效？

半监督学习的目标是利用未标记的数据来提高泛化性能。聚集学习假设指出，决策边界应位于低密度区域，以提高泛化性能。
最近提出的使用流形学习训练神经网络的方法，如半监督嵌入和流形切线分类器，都利用了这一假设。半监督嵌入使用基于嵌入的正则化来提高深度神经网络的泛化性能。由于数据样本的邻居通过嵌入惩罚项与样本具有相似的激活，因此高密度区域的数据样本更有可能具有相同的标签。流形切线分类器鼓励网络输出对低维流形方向的变化不敏感。因此，同样的目的也达到了。

3.3 Entropy Regularization

在最大后验估计的框架下，熵正则化是一种从未标记数据中获益的方法。该方案通过最小化未标记数据的类概率的条件熵来支持类之间的低密度分离，而不需要对密度进行任何建模。$$H(y|x^{\prime })=-\frac{1}{n^{\prime }}\sum _{m=1}^{n^{\prime }}\sum _{i=1}^{C}P(y_i^m=1|x^{\prime m})\log P(y_i^m=1)$$
其中$n^{\prime }$是未标记数据的数目，$C$是类数，$y_i^m$是第$m$个未标记样本的未知标记，$x^{\prime m}$是第m个未标记样本的输入向量，熵是类重叠的一种度量。随着类重叠的减少，决策边界上的数据点密度变得更低。
MAP估计被定义为后验分布的最大值：$$C(\theta ,\lambda )=\sum _{m=1}^n\log P(y^m|x^m;\theta )-\lambda H(y|x^{\prime };\theta )$$
其中n是标记数据的数目，$x^m$是第$m$个标记样本，$\lambda$是平衡两项的系数。通过最大化已标记数据(第一项)的条件对数似然和最小化未标记数据(第二项)的熵，可以获得更好的泛化性能。
图1示出了t-SNE 在MNIST测试数据(未包括在未标记数据中)的网络输出的2D嵌入结果。神经网络用600个已标记数据以及60000个未标记数据和伪标签进行训练。虽然在两种情况下训练误差为零，但通过使用未标记数据和伪标签进行训练，测试数据的网络输出更接近于1-OFK码，换言之，(17)的熵被最小化。

表2显示了(17)的估计熵。虽然两种情况下已标记数据的熵都接近于零，但通过伪标签训练，未标记数据的熵变低，另外，测试数据的熵也随之降低。这使得分类问题变得更容易，甚至对于测试数据也是如此，并且使得决策边界处的数据点密度更低。根据聚类假设，我们可以得到更好的泛化性能。

3.4 Training with Pseudo-Label as Entropy Regularization

我们的方法通过对未标记数据和伪标签的训练，鼓励预测的类别概率接近K中的1-of-code，从而使公式(17)的熵最小。因此，我们的方法等价于熵正则化。(18)的第一项对应于(15)的第一项，(18)的第二项对应于(15)的第二项，α对应于λ。