神经网络-原理自实现

【原理】RBF神经网络-算法原理-精确求解

作者 : 老饼 发表日期 : 2022-06-09 04:47:02 更新日期 : 2023-12-25 19:12:53


本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



精确径向基神经网络由Powell在1985年提出

它是一种使用径向基函数(RBF)进行多变量插值的方法,可以逼近任意曲线

本文讲解径向基神经网络精确求解的思想与原理,也即matlab中newrbe函数的算法原理




   01. RBF径向基神经网络待解参数  



本节回顾RBF神经网络的待解参数,下文再讲解newrbe中是如何精解求解这些参数的

 


    RBF神经网络的待解参数回顾   


 径向基神经网络的数学表达就是多个径向基之和
  形式如下
 
                     
待解参数共有四部分
 👉 W(21)  :  隐层权重       
 👉  b
(2)    :  隐层阈值       
 👉 W
(32)  :  输出层权重   
 👉 b
(3)     :  输出层权重   
 其意义如下
隐层权重的第i行,代表第i个径向基的中心 
隐层阈值,则控制了第i个径向基的宽度            
输出层权重 的第i行,代表第i个径向基的高
输出层阈值,则是第i个输出的基本值               




    newrbe实际需要求解的参数    


由于newrbe中,径向基神经网络以每个样本为中心生成径向基,
输入样本就是,不需求解
而径向基宽度参数一般是直接设定,也不需求解
  也即是说隐层权重、阈值并不需求解
因此,径向基神经网络只需求解输出层权重阈值 
  👉 W(32)  :  输出层权重    
 👉 b
(3)     :  输出层权重   






   02. RBF径向基神经网络的求解原理   



本节讲解径向基神经网络输出层的参数的求解步骤



     RBF神经网络精确求解方法分析   


要求解一组
使得网络的输出与训练样本的y一致
 即要求满足以下方程组

 

 其中代表第i个样本第j个隐节点的激活值
  
由于隐层的权重和阈值已经确定,
所以对于每个样本,隐节点的激活值也是确定的
所以上式就是一个线性方程组,
只需求解上述方程,即可得到RBF神经网络的参数的解
✍️补充:为什么称为精确求解
 注意到待解参数个数大于方程个数
因此上述方程必有解,且是精确解
 也就是说,径向基神经网络在训练数据上的预测误差会为0




     径向基神经网络求解方法   


关于单输出RBF神经网络的求解
通过上述分析,可知当网络为单输出时
要求解径向基神经网络输出层的权重阈值
只需求解以下方程即可
 
  
 其中代表第j个样本第i个隐节点的激活值

关于多输出RBF神经网络的求解
 
在径向基神经网络为多输出,
只需把待解方程推广如下即可
 
  
其中
   :第j个隐节点到第i个输出的权重 
 
:第j个样本第i个隐节点的激活值 
  
    :第j个样本的第i个输出            







   03. RBF神经网络的精确求解总结   



本节总结径向基神经网络的精确求解方法与求解步骤



    径向基神经网络精确求解总结   


假设每列代表一个样本的输入输出
则径向基神经网络的参数求解算法步骤如下:
 隐层权重阈值
 隐层权重阈值如下确定
 
 直接设定
 
 输出层权重阈值
通过解下述方程组得到
  
其中是第j个样本第i个隐节点激活值
 由于上述方程组必有精确解
 因此求得的径向基神经网络在训练数据上的预测误差会为0
✍️ 补充:关于隐层阈值的设定
隐层阈值的设定往往是通过spread参数来确定,
详细见《用spread参数控制径向基的宽度》




    RBF径向基神经网络精确求解的优缺点    


径向基神经网络精确求解是最简单的求解方法
它非常好理解,但同时,它也有非常明显的优缺点

   newrbe-优点  
 
有精确解,能完全拟合原始数据

   newrbe-缺点  
 
有多少个样本,就有多少个径向基,
实际使用时的运算量极为庞大
✍️PASS
 正是由于径向基精确求解使用了过多的径向基,
因此,就有了OLS等求解方法,对它进一步优化









 End 





联系老饼