【调优】解决RBF神经网络过拟合的手段(一)

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com

过拟合是RBF神经网络需要解决的核心问题之一

本文讲解和探索spread和RBF神经网络过拟合的关系

通过本文可以深刻理解spread是如何影响RBF神经网络的泛化能力的

   01. 解决RBF过拟合的手段一：调整spread   

本节探讨spread与RBF神经网络过拟合的关系，

并给出如何调整spread来避免过拟合的操作方法

    通过增大spread避免RBF神经网络过拟合    

过拟合的表现就是"训练数据误差小，但没经训练的数据预测误差大"
这主要是由模型的跌宕引起的，而spread刚好就在某种程度上控制了RBF神经网络的平滑性
使用小spread的网络效果
  
可以看到，在spread较小的时候，径向基神经网络拟合出来的曲线在数据点的过渡上会坍塌下去，
这也就导致预测时没训练过的数据(即训练样本点之间的数据)会极为不准确，

增大spread后的网络效果
要避免过拟合，就必须让模型坍塌下去的地方撑起来，
要达到这效果，只需要加大spread就可以了，
如下，在上述例子中，只需将spread增大为1，网络就比原网络的泛化能力要强很多
 

✍️补充说明： spread过大也可能会降低泛化能力  
较大的spread可以增加曲线的平滑性，从而避免过拟合
但是，spread过大的时候会难以拟合网络的一些细节
从而失去本应拟合到的一些细节，导致网络在泛化能力上受损
如果是这种情况，则需要减小spread，来加强RBF神经网络的细节拟合能力

   老饼的经验   

spread的设置不当往往正是RBF神经网络过拟合的主要原因
因此调整spread是减缓RBF神经网络过拟合的主要手段之一
由于spread过大或者过小都会造成过拟合,
所以在调整前，可以基于对径向基神经网络的认识和数据的范围，
先判断spread是过大还是过小，再适当调大或调小spread来减缓RBF神经网络的过拟合

✍️关于spread对过拟合的影响程度的感性经验可以通过实验来获得
见《探索RBF泛化能力与spread的关系》

好了，以上就是通过调整spread解决RBF神经网络过拟合的方法了~

 End