【机器学习】- L1L2 正则化操作

0.引言

在机器学习中，正则化是一种通过约束模型参数来控制模型复杂度的技术。它可以有效减少过拟合，提高模型的泛化能力。常见的正则化方法包括 L1 正则化 和 L2 正则化。

---

1.正则化的基本思想

在训练模型时，我们的目标是最小化损失函数。正则化通过在损失函数中加入一个正则化项，对模型参数施加约束，从而避免过于复杂的模型。

带有正则化的损失函数一般形式为：

$$\text{损失函数}=\text{数据误差}+\lambda \cdot \text{正则化项}$$

其中：

• 数据误差：如均方误差 (MSE) 或交叉熵损失。
• 正则化项：对模型参数的约束，如 $L1$ 或 $L2$。
• $\lambda$：正则化强度（超参数），控制正则化项的权重。

---

2.L1 正则化

1. 定义
   L1 正则化的正则化项是模型参数的绝对值之和：

   $$R(\mathbf{w})=\Vert \mathbf{w}{\Vert }_1=\sum _{i=1}^n|w_i|$$

   L1 正则化后的损失函数为：

   $$L=\text{数据误差}+\lambda \sum _{i=1}^n|w_i|$$

2. 特性

   • 通过惩罚参数的绝对值，鼓励某些参数变为零。
   • 适合特征选择，因为它会自动剔除不重要的特征（参数为零）。

3. 适用场景

   • 特征数量较多，且希望通过稀疏性来筛选重要特征（如高维数据）。

---

3.L2 正则化

1. 定义
   L2 正则化的正则化项是模型参数的平方和：

   $$R(\mathbf{w})=\Vert \mathbf{w}{\Vert }_2^2=\sum _{i=1}^n{w}_i^2$$

   L2 正则化后的损失函数为：

   $$L=\text{数据误差}+\lambda \sum _{i=1}^n{w}_i^2$$

2. 特性

   • 通过惩罚参数的平方值，鼓励模型参数较小但不为零。
   • 与 L1 不同，它不会让参数变为完全零，而是接近零。

3. 适用场景

   • 当希望模型平滑，避免过度拟合时（如线性回归）。

---

4.L1 与 L2 正则化的比较

特性	L1 正则化	L2 正则化
正则化项	$|\mathbf{w}{|}_1=\sum w_i$	$|\mathbf{w}{|}_2^2=\sum w_i^2$
参数特性	产生稀疏解（参数可能为零）	参数更平滑（接近零但不为零）
特征选择	可以选择特征	不适用于特征选择
计算效率	非凸优化，计算复杂	凸优化，计算简单
适用场景	高维稀疏数据	常规数据，避免过拟合

---

5.应用：控制模型复杂度

1. 减少过拟合

   • 正则化通过限制参数的幅度，避免模型过度拟合训练数据中的噪声。

2. 提高泛化能力

   • 限制模型复杂度，使其在新数据上表现更稳定。

3. 特征选择

   • L1 正则化的稀疏性帮助自动选择重要特征。

---

6.超参数 $\lambda$ 的选择

正则化强度 $\lambda$ 是一个超参数，其值需要通过交叉验证或网格搜索来选择。

• $\lambda$ 较小：
  • 正则化效果弱，模型复杂度高，容易过拟合。
• $\lambda$ 较大：
  • 正则化效果强，模型复杂度低，可能导致欠拟合。

---

7.总结

正则化是控制模型复杂度的重要方法，通过引入 L1 或 L2 正则化项，既可以提高模型的泛化能力，又可以在某些场景下实现特征选择。合理设置正则化强度 $\lambda$，能够帮助模型在偏差与方差之间取得良好的平衡。