【梯度下降算法学习笔记】
梯度下降单参数求解
经过之前的学习我们来引入梯度下降的理念
α \alpha α为学习率
w 1 = w 初 − α ∂ J ( w ) ∂ w w_1=w_初-\alpha\frac{\partial J(w)}{\partial w} w1=w初−α∂w∂J(w)
w 2 = w 1 − α ∂ J ( w 1 ) ∂ w 1 w_2=w_1-\alpha\frac{\partial J(w_1)}{\partial w_1} w2=w1−α∂w1∂J(w1)
一直到下降到当前 ω n \omega_n ωn的偏导数为0时，即 ω \omega ω参数不能再调节且再调节，loss的值也不会再小了
多参数求解
f ( x ) = x 1 w 1 + x 2 w 2 + x 3 w 3 + b f(x)=x_1w_1+x_2w_2+x_3w_3+b f(x)=x1w1+x2w2+x3w3+b
求损失函数关于该参数的偏导数，然后利用梯度下降法的公式不断迭代求解，最终在损失函数趋于平稳不再下降为止。