8 神经网络及Python实现

1 人工神经网络的历史

1.1 生物模型

1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts基于神经元的生理特征，建立了单个神经元的数学模型（MP模型）。

1.2 数学模型

$$y_k=\phi \left(\sum _{i=1}^m{\omega }_{ki}{x}_i+b_k\right)=\phi \left(W_k^{T}X+b\right)$$

1.3 感知器

1957年，Frank Rosenblatt从纯数学的度重新考察这一模型，指出能够从一些输入输出对$(X,y)$中通过学习算法获得权重 $W$和$b$ 。
问题：给定一些输入输出对$(X,y)$，其中$y=\pm 1$,求一个函数，使 $f(X)=y$。
感知器算法：设定$f(X)=sign(W^{T}X+b)$,从一堆输入输出中自动学习，获得$W$和$b$。

感知器算法(Perceptron Algorithm):
（1）随机选择$W$和$b$;
（2）取一个训练样本 $(X,y)$
(i) 若 $W^{T}X+b>0$且$y=-1$,则：
$$W=W-X,b=b-1.$$
(ii)若 $W^{T}X+b<0$且$y=+1$,则：
$$W=W+X,b=b+1.$$
（3）再取另一个$(X,y)$，回到(2);
（4）终止条件：直到所有输入输出对$(X,y)$都不满足(2)中(i)和(ii)之一，退出循环。

感知器算法演示：

1.4 多层网络

两层神经网络例子：

$$\begin{array}{l}{a}_1={\omega }_{11}{x}_1+{\omega }_{12}{x}_2+b_1\\ a_2={\omega }_{21}{x}_1+{\omega }_{22}{x}_2+b_2\\ z_1=\phi \left(a_1\right)\\ z_2=\phi \left(a_2\right)\\ y={\omega }_1{z}_1+{\omega }_2{z}_2+b_3\end{array}$$
其中，$\phi (\cdot )$为非线性函数。
定理：当 $\phi (x)$为阶跃函数时，三层网络可以模拟任意决策面。
举例：

• 两层神经网络模拟一个非线性决策面，最后W取[1,1,1], b取-2.5；
• 如果决策面是四边形，第二层神经元就有4个，最后W取[1,1,1,1], b取-3.5；
• 如果决策面是圆的话，第二层就有无穷多个神经元，去逼近圆；
• 如果决策面分开了，要在第二层里把神经元竖着写下去，并且加一层神经元，把他们的结果合并起来。对于两个三角形的情况，最后W取[1,1], b取-0.5。只要有一个1，最后结果就是1；都是0，最后结果就是0。
  
  学习算法：后向传播（Back Propogation Algorithm）。
  输入$(X,Y)$,其中$X=[x_1,x_2{]}^T$, $Y$是标签值（label）,即我们希望改变$\omega$和$b$，使得标签值$Y$与网络输出的预测值$y$尽量接近。
  定义目标函数为：
  $$\min E(\omega ,b)=\min E_{(X,Y)}[(Y-y{)}^2]$$
  最简单的梯度下降法（Gradient Descent Method）：
  $$\begin{array}{l}{\omega }^{(\text{new })}={\omega }^{(old)}-{\alpha \frac{\partial E}{\partial \omega }|}_{{\omega }^{(old)},b^{(old)}}\\ b^{(\text{new })}=b^{(old)}-{\alpha \frac{\partial E}{\partial b}|}_{{\omega }^{(old)},b^{(old)}}\end{array}$$
  
  常见非线性函数$\phi (x)$的选择：
  （1）Sigmoid：$\phi (x)=\frac{1}{1+e^{-x}},{\phi }^{\prime }(x)=\phi (x)[1-\phi (x)]$
  
  （2）tanh：$\phi (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}},{\phi }^{\prime }(x)=1-[\phi (x){]}^2$
  
  多层神经网络的优势：
• （1）基本单元简单，多个基本单元可扩展为非常复杂的非线性函数。因此易于构建，同时模型有很强的表达能力;
• （2）训练和测试的计算并行性非常好，有利于在分布式系统上的应用；
• （3）模型构建来源于对人脑的仿生，话题丰富，各种领域的研究人员都有兴趣，都能做贡献。

多层神经网络的劣势：

• （1）数学不漂亮，优化算法只能获得局部极值，算法性能与初始值有关；
• （2）不可解释。训练神经网络获得的参数与实际任务的关联性非常模糊；
• （3）模型可调整的参数很多 （网络层数、每层神经元个数、非线性函数、学习率、优化方法、终止条件等等），使得训练神经网络变成了一门“艺术”；
• （4）如果要训练相对复杂的网络，需要大量的训练样本。

训练建议：

• （1）一般情况下，在训练集上的目标函数的平均值（cost）会随着训练的深入而不断减小，如果这个指标有增大情况，停下来。有两种情况：第一是采用的模型不够复杂，以致于不能在训练集上完全拟合；第二是已经训练很好了；
• （2）分出一些验证集（Validation Set）,训练的本质目标是在验证集上获取最大的识别率。因此训练一段时间后，必须在验证集上测试识别率，保存使验证集上识别率最大的模型参数，作为最后结果；
• （3）注意调整学习率（Learning Rate）,如果刚训练几步cost就增加，一般来说是学习率太高了；如果每次cost变化很小，说明学习率太低。

2 参数设置

2.1 随机梯度下降

（1）不用每输入一个样本就去变换参数，而是输入一批样本（叫做一个BATCH或MINI-BATCH），求出这些样本的梯度平均值后，根据这个平均值改变参数。
（2）在神经网络训练中，BATCH的样本数大致设置为50-200不等。

batch_size = option.batch_size;
m = size(train_x,1);
num_batches = m / batch_size;
for k = 1 : iterationkk = randperm(m);for l = 1 : num_batchesbatch_x = train_x(kk((l - 1) * batch_size + 1 : l * batch_size), :);batch_y = train_y(kk((l - 1) * batch_size + 1 : l * batch_size), :);nn = nn_forward(nn,batch_x,batch_y);nn = nn_backpropagation(nn,batch_y);nn = nn_applygradient(nn);end
end

m = size(batch_x,2);

前向计算

nn.cost(s) = 0.5 / m * sum(sum((nn.a{k} - batch_y).^2)) + 0.5 * nn.weight_decay * cost2;

后向传播

nn.W_grad{nn.depth-1} = nn.theta{nn.depth}*nn.a{nn.depth-1}'/m + nn.weight_decay*nn.W{nn.depth-1};
nn.b_grad{nn.depth-1} = sum(nn.theta{nn.depth},2)/m;

2.2 激活函数选择

2.3 训练数据初始化

建议：做均值和方差归一化
$$newX=\frac{X-mean(X)}{std(X)}$$

[U,V] = size(xTraining);
avgX = mean(xTraining);
sigma = std(xTraining);
xTraining = (xTraining - repmat(avgX,U,1))./repmat(sigma,U,1);

2.4 $(\omega ，b)$的初始化

梯度消失现象：如果$W{X}^T+b$一开始很大或很小，那么梯度将趋近于0，反向传播后前面与之相关的梯度也趋近于0，导致训练缓慢。
因此，我们要使$W{X}^T+b$一开始在零附近。
一种比较简单有效的方法是：

• $(W,b)$初始化从区间$(-\frac{1}{\sqrt{d}},\frac{1}{\sqrt{d}})$均匀随机取值。其中$d$为$(W,b)$所在层的神经元个数。
• 可以证明，如果$X$服从正态分布，均值0，方差1，且各个维度无关，而$(W,b)$是 $(-\frac{1}{\sqrt{d}},\frac{1}{\sqrt{d}})$的均匀分布，则 $W{X}^T+b$是均值为0， 方差为1/3的正态分布。

nn.W{k} = 2*rand(height, width)/sqrt(width)-1/sqrt(width);
nn.b{k} = 2*rand(height, 1)/sqrt(width)-1/sqrt(width);

参数初始化是一个热点领域，相关论文包括：

2.5 Batch normalization

论文：Batch normalization accelerating deep network training by reducing internal covariate shift (2015)
基本思想：既然我们希望每一层获得的值都在0附近，从而避免梯度消失现象，那么我们为什么不直接把每一层的值做基于均值和方差的归一化呢？

每一层FC（Fully Connected Layer）接一个BN（Batch Normalization）层。
$${\hat{x}}^{(k)}=\frac{x^{(k)}-E[x^{(k)}]}{\sqrt{\mathbf{Var}[x^{(k)}]}}$$
算法流程：

前向计算：

y = nn.W{k-1} * nn.a{k-1} + repmat(nn.b{k-1},1,m);
if nn.batch_normalizationnn.E{k-1} = nn.E{k-1}*nn.vecNum + sum(y,2);nn.S{k-1} = nn.S{k-1}.^2*(nn.vecNum-1) + (m-1)*std(y,0,2).^2;nn.vecNum = nn.vecNum + m;nn.E{k-1} = nn.E{k-1}/nn.vecNum;nn.S{k-1} = sqrt(nn.S{k-1}/(nn.vecNum-1));y = (y - repmat(nn.E{k-1},1,m))./repmat(nn.S{k-1}+0.0001*ones(size(nn.S{k-1})),1,m);y = nn.Gamma{k-1}*y+nn.Beta{k-1};
end;
switch nn.activaton_functioncase 'sigmoid'nn.a{k} = sigmoid(y);case 'tanh'nn.a{k} = tanh(y);

后向传播：

nn.theta{k} = ((nn.W{k}'*nn.theta{k+1})) .* nn.a{k} .* (1 - nn.a{k});
if nn.batch_normalizationx = nn.W{k-1} * nn.a{k-1} + repmat(nn.b{k-1},1,m);x = (x - repmat(nn.E{k-1},1,m))./repmat(nn.S{k-     1}+0.0001*ones(size(nn.S{k-1})),1,m);temp = nn.theta{k}.*x;nn.Gamma_grad{k-1} = sum(mean(temp,2));nn.Beta_grad{k-1} = sum(mean(nn.theta{k},2));nn.theta{k} = nn.Gamma{k-1}*nn.theta{k}./repmat((nn.S{k-1}+0.0001),1,m);
end;
nn.W_grad{k-1} = nn.theta{k}*nn.a{k-1}'/m + nn.weight_decay*nn.W{k-1};
nn.b_grad{k-1} = sum(nn.theta{k},2)/m;

2.6 目标函数选择

1. 正则项 （Regulation Term）
   $$\begin{array}{lc}L(W)& =F(W)+R(W)\\ & =\frac{1}{2}\left({\sum }_1^{batch\_size}||y_i-Y_i|{|}^2+\beta {\sum }_k{\sum }_l{W}_{k,l}^2\right)\end{array}$$
   前向计算

cost2 = cost2 +  sum(sum(nn.W{k-1}.^2));
nn.cost(s) = 0.5 / m * sum(sum((nn.a{k} - batch_y).^2)) + 0.5 * nn.weight_decay * cost2;

后向传播

nn.W_grad{k-1} = nn.theta{k}*nn.a{k-1}'/m + nn.weight_decay*nn.W{k-1};

2. 如果是分类问题，$F(W)$可以采用SOFTMAX函数和交叉熵的组合。
   （a）SOFTMAX函数：
   
   $$p_i=\frac{e^{y_i}}{{\sum }_{j=1}^N{e}^{y_j}}$$
   通过网络学习$Y=[y_1,y_2,\dots ,y_N{]}^T$到$P=[p_1,p_2,\dots ,p_N{]}^T$的映射，其中${\sum }_{i=1}^N{p}_i=1$。
   （b）交叉熵
   目标函数为：
   $$E=-\sum _{i=1}^N{c}_i\ast \log (p_i)$$
   （c）SOFTMAX函数和交叉熵的组合
   
   如果$F(W)$是SOFTMAX函数和交叉熵的组合，那么求导将会有非常简单的形式：
   $$\frac{\partial E}{\partial y_i}=p_i-c_i$$
   前向计算

if strcmp(nn.objective_function,'Cross Entropy')nn.cost(s) = -0.5*sum(sum(batch_y.*log(nn.a{k})))/m + 0.5 * nn.weight_decay * cost2;

后向传播

case 'softmax'y = nn.W{nn.depth-1} * nn.a{nn.depth-1} + repmat(nn.b{nn.depth-1},1,m);nn.theta{nn.depth} = nn.a{nn.depth} - batch_y;

2.7 参数更新策略

（1）常规的更新 （Vanilla Stochastic Gradient Descent）

nn.W{k} = nn.W{k} - nn.learning_rate*nn.W_grad{k};
nn.b{k} = nn.b{k} - nn.learning_rate*nn.b_grad{k};

SGD的问题
（1）$(W,b)$的每一个分量获得的梯度绝对值有大有小，一些情况下，将会迫使优化路径变成Z字形状。

（2）SGD求梯度的策略过于随机，由于上一次和下一次用的是完全不同的BATCH数据，将会出现优化的方向随机的情况。
$$\begin{array}{l}L(W)=\frac{1}{N}{\sum }_{i=1}^N{L}_i(x_i,y_i,W)\\ \nabla L(W)=\frac{1}{N}{\sum }_{i=1}^N{\nabla }_W{L}_i(x_i,y_i,W)\end{array}$$

解决各个方向梯度不一致的方法：
（1）AdaGrad
AdaGrad 算法在随机梯度下降法的基础上，通过记录各个分量梯度的累计情况， 以对不同的分量方向的步长做出调整。具体而言，利用 $G^k={\sum }_{i=1}^k{g}_i\odot g_i$ 记录分量梯度的累计，并构造如下迭代格式：
$$\begin{gathered} x^{k+1}=x^k-\frac{\alpha }{G^k+ϵ1_n}\odot g^k, \\ {G}^{k+1}=G^k+g^{k+1}\odot g^{k+1}. \end{gathered}$$

if strcmp(nn.optimization_method, 'AdaGrad')nn.rW{k} = nn.rW{k} + nn.W_grad{k}.^2;
nn.rb{k} = nn.rb{k} + nn.b_grad{k}.^2;nn.W{k} = nn.W{k} - nn.learning_rate*nn.W_grad{k}./(sqrt(nn.rW{k})+0.001);nn.b{k} = nn.b{k} - nn.learning_rate*nn.b_grad{k}./(sqrt(nn.rb{k})+0.001);

（2）RMSProp

if strcmp(nn.optimization_method, 'RMSProp')
nn.rW{k} = 0.9*nn.rW{k} + 0.1*nn.W_grad{k}.^2;
nn.rb{k} = 0.9*nn.rb{k} + 0.1*nn.b_grad{k}.^2;nn.W{k} = nn.W{k} - nn.learning_rate*nn.W_grad{k}./(sqrt(nn.rW{k})+0.001);nn.b{k} = nn.b{k} - nn.learning_rate*nn.b_grad{k}./(sqrt(nn.rb{k})+0.001); %rho = 0.9

解决梯度随机性问题：
（3）Momentum

if strcmp(nn.optimization_method, 'Momentum')
nn.vW{k} = 0.5*nn.vW{k} + nn.learning_rate*nn.W_grad{k};nn.vb{k} = 0.5*nn.vb{k} + nn.learning_rate*nn.b_grad{k};nn.W{k} = nn.W{k} - nn.vW{k};
nn.b{k} = nn.b{k} - nn.vb{k}; %rho = 0.5;

同时两个问题：
（4）Adam

if strcmp(nn.optimization_method, 'Adam')
nn.sW{k} = 0.9*nn.sW{k} + 0.1*nn.W_grad{k};
nn.sb{k} = 0.9*nn.sb{k} + 0.1*nn.b_grad{k};
nn.rW{k} = 0.999*nn.rW{k} + 0.001*nn.W_grad{k}.^2;
nn.rb{k} = 0.999*nn.rb{k} + 0.001*nn.b_grad{k}.^2;nn.W{k} = nn.W{k} - 10*nn.learning_rate*nn.sW{k}./sqrt(1000*nn.rW{k}+0.00001);nn.b{k} = nn.b{k} - 10*nn.learning_rate*nn.sb{k}./sqrt(1000*nn.rb{k}+0.00001);  %rho1 = 0.9, rho2 = 0.999, delta = 0.00001

2.8 训练建议

（1） Batch Normalization 比较好用，用了这个后，对学习率、参数更新策略等不敏感。建议如果用Batch Normalization, 更新策略用最简单的SGD即可，我的经验是加上其他反而不好。
（2）如果不用Batch Normalization, 通过合理变换其他参数组合，也可以达到目的。
（3）由于梯度累积效应，AdaGrad, RMSProp, Adam三种更新策略到了训练的后期会很慢，可以采用提高学习率的策略来补偿这一效应。

参考文献

浙江大学胡浩基《机器学习：人工神经网络介绍》