本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
梯度下降法算是一种简单、有效、经典的求解最小值算法，
机器学习中通常需要求最小化损失函数时的参数的取值,因此经常使用梯度下降算法
本文介绍梯度下降算法的思想、实现流程和优缺点
梯度下降算法思路
梯度下降算法的思路如下
先取一个初始值x0，然后进行迭代，
每次都往梯度的反方向调整（在一维中即导数的负方向）它，
直到迭代条件终止（例如无法令f(x)的值下降，即达到局部最低点）
下面讲解梯度下降算法的具体算法流程
梯度下降算法流程
1. 先初始化x的值 (按个人经验初始化，或随机初始化，或设为0)
2. 计算 在处的梯度,令,(lr为学习率，可设为0.1)
3. 计算在处的梯度,令
4. ...如此类推....一直到满足迭代终止条件，最后一次的即为所要找的解。
迭代终止条件：达到迭代次数，或者 与变化不大，或者与变化不大
✍️简单的说，就是先初始化 ，然后按不断迭代就行
End
