偏差、方差（训练误差，验证误差）

一、偏差、方差：

偏差（Bias）：偏差是指模型预测值与真实值之间的差异，即模型对训练集的拟合能力。

• 偏差大，说明模型欠拟合。
• 偏差小，说明模型对训练集拟合能力强（这时模型可能比较优秀，也可能是过拟合）。

方差（Variance）：方差是指模型在不同训练数据集上的预测结果的离散程度，即模型的泛化能力，即对验证集的拟合能力。

• 方差大，说明模型对验证集拟合能力弱。（这时模型可能过拟合）
• 方差小，说明模型对验证集拟合能力强。

当偏差和方差都比较小时，模型才比较好。

二、正则化参数λ对偏差、方差的影响：

• 当偏差小，方差大，说明模型过拟合，可以适度增大λ的值。
• 当偏差大，说明模型欠拟合，可以适度减小λ的值。

三、训练集规模对偏差、方差的影响：

• 训练集越大，偏差（训练误差）越大，因为模型很难拟合所有训练集。
• 训练集越小，方差（验证误差）越大。训练集越大，方差越小。

四、模型复杂度对偏差、方差的影响：

• 模型越复杂，偏差（训练误差）越小，方差越大（验证误差）。【过拟合】

五、方差、偏差如何帮助训练：

通常在**训练过程中持续输出训练误差（偏差）和验证误差（方差）**可以帮助我们判断是否当前模型具有高偏差和高方差，并采取合理的方法解决来提高模型的性能。

1.高偏差解决方法：

• 添加更多多项式特征（模型复杂化）
• 获取更多特征
• 减小正则化参数λ值

2.高方差解决方法：

• 获取更多的训练集
• 简化特征数量（简化模型）
• 增大正则化参数λ值