7 线性回归及Python实现

1 统计指标

• 随机变量$X$的理论平均值称为期望: $\mu =E(X)$
• 但现实中通常不知道$\mu$, 因此使用已知样本来获取均值
  $$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i.$$
• 方差variance定义为：
  $${\sigma }^2=E(|X-\mu {|}^2).$$
• 用已知样本的数据来代替:
  $$S^2=Var(X)=\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2.$$
• 由于$\mu$未知, 使用贝塞尔校正：
  $$S^2=Var(X)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2.$$
• 原因: 在已知数据上, 使用$\overline{X}$获得的结果一般更小：
  $$\sum _{i=1}^{n-1}(X_i-\overline{X}{)}^2\le \sum _{i=1}^{n-1}(X_i-\mu {)}^2.$$
• 更多解释: https://www.zhihu.com/question/20099757
• 标准差：
  $${\sigma }_X=S=\sqrt{Var(X)}.$$

偏差与方差：

• 方差(again)
  $$Var(X)={\sigma }_X^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X})(X_i-\overline{X}).$$
• 协方差
  $$Cov(X,Y)=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y}).$$
• Pearson相关系数
  $$Corr(X,Y)={\rho }_{X,Y}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}.$$

2 线性回归

2.1 回归任务

分类与回归

• 分类任务预测类别，即是/否等离散值：如是否生病;
• 回归任务预测实型值：如气温

拟合空间中的点 (注意数据点没有类别标记, 输出也占一维):

• 一个条件属性：直线;
• 两个条件属性：平面;
• 更多条件属性：超平面.

拟合线:

3 局部线性回归

4 岭回归

5 Lasso回归

6 小结