本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
精确径向基神经网络由Powell在1985年提出
它是一种使用径向基函数（RBF）进行多变量插值的方法，可以逼近任意曲线
本文讲解径向基神经网络精确求解的思想与原理，也即matlab中newrbe函数的算法原理
本节回顾RBF神经网络的待解参数,下文再讲解newrbe中是如何精解求解这些参数的
RBF神经网络的待解参数回顾
径向基神经网络的数学表达就是多个径向基之和
形式如下
待解参数共有四部分
👉 W(21) : 隐层权重
👉 b(2) : 隐层阈值
👉 W(32) : 输出层权重
👉 b(3) : 输出层权重
其意义如下
隐层权重的第i行，代表第i个径向基的中心
隐层阈值,则控制了第i个径向基的宽度
输出层权重 的第i行，代表第i个径向基的高
输出层阈值,则是第i个输出的基本值
newrbe实际需要求解的参数
由于newrbe中，径向基神经网络以每个样本为中心生成径向基，
输入样本就是,不需求解
而径向基宽度参数一般是直接设定，也不需求解
也即是说隐层权重、阈值并不需求解
因此，径向基神经网络只需求解输出层权重阈值
👉 W(32) : 输出层权重
👉 b(3) : 输出层权重
本节讲解径向基神经网络输出层的参数的求解步骤
RBF神经网络精确求解方法分析
要求解一组和
使得网络的输出与训练样本的y一致
即要求、满足以下方程组
其中代表第i个样本第j个隐节点的激活值
由于隐层的权重和阈值已经确定，
所以对于每个样本，隐节点的激活值也是确定的
所以上式就是一个线性方程组，
只需求解上述方程，即可得到RBF神经网络的参数的解
✍️补充：为什么称为精确求解
注意到待解参数个数大于方程个数
因此上述方程必有解，且是精确解
也就是说，径向基神经网络在训练数据上的预测误差会为0
径向基神经网络求解方法
关于单输出RBF神经网络的求解
通过上述分析，可知当网络为单输出时
要求解径向基神经网络输出层的权重阈值
只需求解以下方程即可
其中代表第j个样本第i个隐节点的激活值
关于多输出RBF神经网络的求解
在径向基神经网络为多输出，
只需把待解方程推广如下即可
其中
：第j个隐节点到第i个输出的权重
：第j个样本第i个隐节点的激活值
：第j个样本的第i个输出
本节总结径向基神经网络的精确求解方法与求解步骤
径向基神经网络精确求解总结
假设每列代表一个样本的输入输出
则径向基神经网络的参数求解算法步骤如下：
隐层权重阈值
隐层权重阈值如下确定
直接设定
输出层权重阈值
通过解下述方程组得到
其中是第j个样本第i个隐节点激活值
由于上述方程组必有精确解
因此求得的径向基神经网络在训练数据上的预测误差会为0
✍️ 补充：关于隐层阈值的设定
隐层阈值的设定往往是通过spread参数来确定，
详细见《用spread参数控制径向基的宽度》
RBF径向基神经网络精确求解的优缺点
径向基神经网络精确求解是最简单的求解方法
它非常好理解，但同时，它也有非常明显的优缺点
newrbe-优点
有精确解，能完全拟合原始数据
newrbe-缺点
有多少个样本，就有多少个径向基，
实际使用时的运算量极为庞大
✍️PASS
正是由于径向基精确求解使用了过多的径向基，
因此，就有了OLS等求解方法，对它进一步优化
End