多变量线性回归模型

多变量线性回归模型

模型参数为n+1维向量，此时模型公式为
$$h_{\theta }(x)={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
可以简化为
$$h_{\theta }(x)={\theta }^{\mathrm{T}}\mathrm{X}$$
此时的代价函数仍是所有建模误差的平方和，即
$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
此时的批量梯度算法为
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1,...,{\theta }_n)$$

$${\theta }_j:={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)}forj=0,1,...n$$

特征缩放

在多维特征问题中，特征尺度越相近，梯度下降算法收敛越快。 尽量将特征尺度$x_n$缩放到-1~1之间。${\mu }_n$是平均值，$s_n$是方差。
$$x_n=\frac{x_n-{\mu }_n}{s_n}$$

学习率

我们不能提前预知梯度下降算法收敛所需的迭代次数，但可以通过绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。

常用的学习率为0.01，0.03，0.1，0.3，1，3，10

多项式回归

线性回归不适用所有的模型，有时候可能需要二次方、三次方等模型，比如
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3$$

$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{\sqrt{x}}_2$$

正规方程

通过正规方程解出向量，其中$X$为特征矩阵
$$\theta =(X^{\mathrm{T}}X{)}^{-1}{X}^{\mathrm{T}}y$$