机器学习之神经网络的层次

神经网络组成

大脑是一个巨大的神经元网络，所以神经网络是一个节点网络。根据节点的连接方式，可以创建多种神经网络。最常用的神经网络类型之一采用了如图所示的节点分层结构

• 正方形节点组称为输入层。输入层的节点仅仅作为将输入信号传输到下一个节点的通道。因此，他们不计算加权和和激活函数。这就是它们用正方形表示并与其他圆形节点不同的原因。
• 相比之下，最右边的节点组被称为输出层。从这些节点得到的输出成为神经网络的最终结果。
• 位于输入层和输出层之间的图层被称为隐藏层。它们被赋予这个名字是因为它们不能从神经网络的外部访问

神经网络根据结构分类

• 神经网络已经从一个简单的结构发展到一个越来越复杂的结构。最初，神经网络的先驱们有一个非常简单的体系结构，只有输入层和输出层，这被称为 单层神经网络。
• 当隐藏层添加到单层神经网络时，就产生多层神经网络。因此，多层神经网络由输入层、隐层和输出层组成。
• 具有单一隐藏层的神经网络被称为浅层神经网络或普通神经网络。
• 一个包含两个或两个以上隐藏层的多层神经网络被称为深度神经网络。

当代在实际应用中使用的神经网络大多是深度神经网络。下表总结了神经网络根据层结构不同的分支

神经网络的信号传递

在分层神经网络中，信号进入输入层，通过隐藏层，然后通过输出层离开。在这个过程中，信号一层地推进。换句话说，一层上的节点同时接收信号，并同时将处理后的信号发送到下一层。让我们遵循一个简单的示例，看看输入数据在通过图层时是如何处理的
考虑具有单个隐藏层的神经网络

假设每个节点的激活函数为一个线性函数，如图所示。这个函数允许节点本身发送加权和

现在，我们将计算来自隐藏层的输出

对于上面第一个结点：

对于下面那个：

那么这个计算过程就可以用矩阵表示：

那么就是一个表达式:

那么对于右边的输出层的结点，计算过程是一样的：

那么总的一个输出，是可以结合成一个矩阵，也就是一个含一个隐藏层的神经网络 可以看成一个简单神经网络