单变量回归问题

单变量回归问题

对于某房价问题，x为房屋大小，h即为预估房价，模型公式为：
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$
要利用训练集拟合该公式（主要是计算${\theta }_0、{\theta }_1$)，需要代价函数（计算当前模型和测试集数据的误差），
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
当代价函数得到最小值时，此时拟合的公式最好。一般利用梯度下降法来得到代价函数的局部（全局）最优解。批量梯度下降的公式为
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)(forj=0andj=1)$$

$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)=\frac{\partial }{\partial {\theta }_j}(\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2)$$

$$j=0时，\frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$$

$$j=1时，\frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)}$$

$\alpha$为学习率，决定沿着代价函数下降程度最大的方向向下的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

如果$\alpha$太小了，即我的学习速率太小，需要很多步才能到达最低点，可能会很慢；
如果$\alpha$太大，那么梯度下降法可能会越过最低点，甚至可能无法收敛。

在梯度下降法中，当我们接近局部最低点时，梯度下降法会自动采取更小的幅度，这是因为当我们接近局部最低点时，很显然在局部最低时导数等于零，所以当我们接近局部最低时，导数值会自动变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的做法。所以实际上没有必要再另外减小$\alpha$。