吴恩达《机器学习》8-3-＞8-4:模型表示I、模型表示II

8.3、模型表示I

一、大脑神经网络的基本原理

为了构建神经网络模型，首先需要理解大脑中的神经网络是如何运作的。每个神经元都可以被看作是一个处理单元或神经核，它包含多个输入（树突）和一个输出（轴突）。神经网络是由大量神经元相互连接，并通过电脉冲进行交流的复杂网络。

神经元之间利用微弱的电流进行通信，这些电流被称为动作电位。当神经元要传递消息时，通过轴突发送微弱电流给其他神经元，形成一种信息传递的链条。这与人类思考的模型相似，其中神经元通过计算将收到的消息传递给其他神经元，也是感觉和肌肉运动的基本原理。

二、神经网络模型的构建

神经网络模型建立在许多神经元之上，每个神经元都是一个个学习模型，也被称为激活单元。这些激活单元采纳一些特征作为输入，并根据自身的模型提供一个输出。一个示例是以逻辑回归模型作为学习模型的神经元，其中参数被称为权重。

我们设计了一个类似于神经元的神经网络，包括输入单元、中间单元和输出单元。输入单元接收原始数据，中间单元进行数据处理，最后输出单元计算 ℎ𝜃(x)。

三、神经网络的层级结构和标记法

神经网络模型是由许多逻辑单元按照不同层级组织而成的网络。这包括输入层、隐藏层和输出层。在模型表示中，引入了标记法来帮助描述神经网络的结构。例如，𝑎𝑖(𝑗) 代表第 j 层的第 i 个激活单元，𝜃(𝑗) 代表从第 j 层映射到第 j + 1 层的权重矩阵。

四、前向传播算法

为了将训练集输入神经网络进行学习，我们使用了前向传播算法。该算法从左到右逐步计算神经网络的输出，通过一系列计算得到最终结果。具体而言，通过矩阵表示，我们将整个模型的运算过程整合为一个简洁的式子：𝜃 ⋅ 𝑋 = 𝑎。

这一学习内容为构建神经网络模型提供了基础，我们了解了神经网络的基本结构和运作原理。在模型表示的下一部分，我们将深入学习神经网络的训练过程和反向传播算法。

8.4、模型表示II

一、向量化计算和前向传播

二、神经网络与 Logistic Regression 的关系

参考资料：

[中英字幕]吴恩达机器学习系列课程

黄海广博士 - 吴恩达机器学习个人笔记