本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
本文讲解BP神经网络的误差函数、BP神经网络的训练算法及梯度下降法训练BP的流程
本节展示BP神经网络的误差函数
BP神经网络模型表达式
在使用BP神经网络时,确定了结构(隐层层数、隐节点个数、传递函数)之后,
也就确定了BP神经网络的数学表达式
例如,一个三层的BP的表达式类似如下形式:
BP神经网络模型的误差函数
在模型的表达式确定后,
网络预测值与样本真实值的均方误差也就确定了,
在BP神经网络中,采用均方误差作为误差函数
均方误差函数如下:
其中,m为训练样本个数,k为输出个数,
为第i个样本第j个输出的预测值,为对应的真实值。
BP神经网络的误差函数是一个关于W,b的函数,采用不同的权重和阈值,就有不同的误差
本节讲解什么是BP神经网络的训练及训练算法
什么是BP神经网络的训练
在BP神经网络结构确定后,其中的W,b仍未确定,
那W,b该如何确定?不同的W,b会带来不同的网络误差,
我们的目标就是求取一组W,b,使上述的均方误差函数最小,
对W,b的求解并不是一件容易的事情,
目前的数学水平还没有能力求得 W,b 的精确解,通常是使用算法进行求解
使用算法对BP神经网络进行求解的过程,就称为BP神经网络的训练
BP神经网络的训练算法
BP神经网络的训练算法很多,较经典的有如下两种算法:
👉 梯度下降算法
👉 LM算法
梯度下降算法
梯度下降法是最基本的算法,它较为简单、有效,
但缺点是往往训练时间过长、甚至有时还不够精确就停止训练等,
作为入门学习,一般都是以梯度下降算法来理解网络的训练
LM算法
LM(Levenberg-Marquardt)算法相对梯度法会更为快,
但对于数据量过大的时候不支持,一般情况都是可以使用的
作为实际使用,BP神经网络的训练一般都是使用LM算法
更多的BP神经网络的训练算法
对于更多的BP神经网络的训练算法,
我们不妨参考matlab神经网络工具箱提供的训练算法(求解算法),如下:
梯度下降法(traingd)
有动量的梯度下降法(traingdm)
自适应lr梯度下降法(traingda)
自适应lr动量梯度下降法(traingdx)
弹性梯度下降法(trainrp)
Fletcher-Reeves共轭梯度法(traincgf)
Ploak-Ribiere共轭梯度法(traincgp)
Powell-Beale共轭梯度法(traincgb)
量化共轭梯度法(trainscg)
拟牛顿算法(trainbfg)
一步正割算法(trainoss)
Levenberg-Marquardt法(trainlm)
其中,梯度下降法是最基本,最基础的算法,上述很多算法是在梯度下降法的基础上进一步改进得到
虽然训练算法很多,但一般都只用lm算法进行训练
以上就是BP神经网络的误差函数与训练方法的全部内容了~
End