ccc-pytorch-感知机算法（3）

单一输出感知机

内容解释：

• $w_{00}^1$：输入标号1连接标号0（第一层）
• $x_0^0$：第0层的标号为0的值
• $O_1^1$:第一层的标号为0的输出值
• t：真实值
• $\sigma$：激活函数

公式推导：
$$\begin{array}{r}E=\frac{1}{2}(O_0^1-t{)}^{}\end{array}$$
添加常数便于求导，不影响单调性
$$\begin{array}{rl}\frac{\partial E}{\partial w_{j0}}& =(O_0-t)\frac{\partial O_0}{\partial w_{j0}}\\ & =(O_0-t)\frac{\partial \sigma (x_0)}{\partial w_{j0}}\\ & =(O_0-t)O_0(1-O_0)\frac{\partial x_0^1}{\partial w_{j0}}注：[\sigma (x_0)=O_0]\\ & =(O_0-t)O_0(1-O_0)x_j^0\end{array}$$
简单实践代码：

x = torch.randn(1,10)
w = torch.randn(1,10,requires_grad=True)
o = torch.sigmoid(x@w.t())
loss = F.mse_loss(torch.ones(1,1),o)
loss.shape
loss.backward()
w.grad

多输出感知机

内容解释：
和单层的一摸一样，只是多了几个输出，注意下标即可
公式推导：
$$\begin{array}{r}E=\frac{1}{2}\sum (O_i^k-t_k{)}^{}\end{array}$$
添加常数便于求导，不影响单调性
$$\begin{array}{rl}\frac{\partial E}{\partial w_{jk}}& =(O_k-t_k)\frac{\partial O_k}{\partial w_{jk}}注：[下标对上才有值]\\ & =(O_k-t_k)\frac{\partial \sigma (x_k)}{\partial w_{jk}}\\ & =(O_k-t_k)O_k(1-O_k)\frac{\partial x_k^1}{\partial w_{jk}}\\ & =(O_k-t_k)O_k(1-O_k)x_j^1\end{array}$$
即只需要输出和对应输入即可计算

简单实践代码：

x = torch.randn(1,10)
w = torch.randn(2,10,requires_grad=True)
o = torch.sigmoid(x@w.t())
loss = F.mse_loss(torch.ones(1,2),o)
loss.shape
loss.backward()
w.grad

MLP反向传播

内容解释：
MLP即Multi-Layer Perceptron，多层感知机
公式推导：
$$\begin{array}{rl}\frac{\partial E}{\partial W_{ij}}& =\frac{\partial }{\partial W_{ij}}\frac{1}{2}\sum _{k\in K}(O_k-t_k{)}^2\\ & =\sum _{k\in K}(O_k-t_k)\frac{\partial }{\partial W_{ij}}{O}_k\\ & =\sum _{k\in K}(O_k-t_k)\frac{\partial }{\partial W_{ij}}\sigma (x_k)\\ & =\sum _{k\in K}(O_k-t_k)O_k(1-O_k)\frac{\partial x_k}{\partial w_{ij}}\\ & =\sum _{k\in K}(O_k-t_k)O_k(1-O_k)\frac{\partial x_k}{\partial O_j}\cdot \frac{\partial O_j}{\partial w_{ij}}\\ & =\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}\frac{\partial O_j}{\partial w_{ij}}\\ & =O_j(1-O_j)\frac{\partial x_j}{\partial W_{ij}}\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}\\ & =O_j(1-O_j)O_i\sum _{k\in K}(O_k-t_k)O_k(1-O_k)W_{jk}\\ & 注：[层数从左到右为i，j，k]\end{array}$$
如果将仅与第k层相关的信息作为一个函数可以写作：
$$\begin{array}{r}\frac{\partial E}{\partial W_{ij}}=O_i{O}_j(1-O_j)\sum _{k\in K}{\delta }_k{W}_{jk}\end{array}$$

所以一个前面层的值依赖后面层的信息，需要倒着计算才行哦