本站原创文章，转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com
广义回归神经网络GRNN全称为General Regression Neural Network
它是D.F.Specht在1991年提出的一种神经网络，与径向基神经网络有异曲同工之处
本文讲述广义回归神经网络(matlab里的newgrnn)的思想、基本原理和实现流程
本文不进行过于学术和严谨的讲述，旨在帮助读者快速入门、了解和掌握广义神经网络的思路和构建方法
本节讲解广义回归神经网络到底是怎么一个思路以及解决什么问题
问 题
设有已知 y 值的样本 x1,x2,
如果新来了一个样本 x，那 x 的 y 值为多少？
广义回归解决思路
广义回归解决该问题的思路如下，
它假设x与任何一个已有样本中 xi 相同的概率都服从正态分布
则易知
x与x1相同的概率为：
x与x2相同的概率为 ：
取两者y的概率加权和来预测x，则有
✍️老饼对广义回归神经网络的朴素理解
简单来说，广义回归的思想，
就是评估新样本属于各个训练样本点的概率各是多少
然后以概率加权得到新样本的输出值评估
本节讲解广义回归神经网络的数学表达式和它的拓扑图
从而更具体的了解广义回归神经网络是个什么东东
广义回归神经网络的数学表达式
这里我们不写通用公式，
仅以2输出,3个样本为例,
数学表达式如下
其中,a是待定参数,
Esum是所有径向基函数之和 ，如下
✍️ 实际Esum的作用是把各个径向基的值进行归一化,将径向基转为概率权重.
✍️关于广义神经网络的构建
从广义回归神经网络的数学表达式可以知道
广义回归神经网络是最简单的神经网络，不需要任何计算，就能将网络构建出来
广义回归神经网络只需要把训练样本的 X , y 保存起来,并设置好 a 的值就可以
来了新样本，只要按上述表达式计算预测值就可以，整个网络的构建过程不需任何训练
广义回归神经网络的拓扑图
广义回归神经网络是一个固定的三层神经网络
它的网络拓扑图如下
广义回归神经网络的网络拓扑图与径向基神经网络是一致的，只是输出层没有阈值
本节拓展性辨析广义回归神经网络与精确径向基的区别
以及示范性说明广义回归神经网络的优缺点
与精确径向基的差异比较
广义回归神经网络虽然名字里没有带有“径向基”字样，但它的传递函数用的就是径向函数
所以广义回归神经网络实际上仍然属于径向基神经网络的一种
下面我们将其与精确径向基神经网络进行辨识与比较
相同之处
● 数学表达式上有相似的形式
● 隐节点同样是径向函数
不同之处
● 精确径向基是通过曲线拟合的思想，而广义神经网络是通过概率加权的思想。
● 精确径向基外层的权重和阈值通过线性方程进行求解，而广义神经网络直接使用训练样本的y值。
● 精确径向基外层有阈值，广义神经网络外层没有阈值。
● 特别的是，广义神经网络的隐节点(exp部分)需要进行归一化，再与外层权重相乘。
广义回归的优缺点
优点
● 简单，构建时不需要任何计算
● 有概率作为解析背景意义
缺点
● 隐节点过多，在实际应用中计算量大
● 没有任何的误差优化程序，在数据拟合上，误差会偏大
End
