老饼讲解-神经网络 机器学习 神经网络 深度学习
Elman神经网络

【简介】Elman神经网络的结构

作者 : 老饼 发表日期 : 2023-08-04 20:38:48 更新日期 : 2023-08-21 03:41:11
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com


Elman神经网络是 J. L. Elman于1990年提出的一种用于时序的神经网络

是一种经典的具有时序数据记忆性的神经网络

本文讲解Elman神经网络的结构,以及Elman神经网络输出的数学表达式




    前言:ELman学前简谈    


Elman神经网络用来干什么
Elman神经网络是一种专用于序列数据的神经网络,也就是数据的输出不仅与输入有关,且与上一条数据的输出有关
举例,用每年城市人口预测每年的房价,那么每年的房价不仅依赖于当年的人口数量,且它与上一年的房价有关,这就是时间序列数据
Elman神经网络的学习建议
学习Elman神经网络,最好先学习BP神经网络,因为它是BP神经网络的一种拓展,
为了避免大量重复的内容,本教程都基于读者“已经学会了BP神经网络”来讲解Elman神经网络





 01. Elman神经网络的结构  



本节先展示Elman神经网络的输出和输出,再讲解Elman神经网络的结构



    Elman神经网络的输入与输出    


Elman面向的样本
Elman面向的是序列样本,每个样本是一系列的X、Y,而不是单个X、Y
也就是说,样本并非是一维的(向量),而是二维的(矩阵)
因为它要表示各个变量在各个时刻的值
示例如下:
 
 
Elman所接收的输入与输出
虽然Elman神经网络面向的是序列样本,
但Elman每次运算只接收单时刻的数据,然后通过循环迭代,逐时刻计算输出




    Elman神经网络的结构    


Elman神经网络的结构与BP神经网络类似,
但不同的是,它每个隐层不仅接受前层的输入,且接受上一时刻(即上一个样本)该隐层的输出
如下
 
也就是说,Elman每个隐层含有的元素有四个:
1.权重W                                                                        
 
权重W用于与前层连接                            
 2.权重Wdelay                                                                
 
权重Wdelay用于与上一时刻的该隐层连接           
如果该隐层有n个神经元,则Wdelay是一个n*n的矩阵

 3.阈值b                                                                         
 
该层每个神经元都有各自的阈值                           
 4.激活函数                                                                    
 
激活函数用于将神经元值进行转换后再输出        
特别说明:输出层是不接受延迟值的,也就是最后一层没有延迟权重Wdelay





 02. Elman神经网络的计算流程  


,

本节讲解Elman具体是如何计算输出的

通过本节可进一步了解Elman神经网络的运作



    如何计算Elman神经网络的输出    


Elman神经网络的计算顺序
由于Elman网络接受上一个数据的隐层作为延迟输入,
所以Elman计算一个序列样本时,是逐个数据运算的
即先计算序列数据的第一个数据
然后计算序列数据的第二个数据
....
直到最后一个数据  


Elman神经网络的对每个数据的计算方式
Elman神经网络与BP一样,采用前馈方式计算网络的输出
即先计算第一隐层,然后第二隐层....直到输出层

👉如何计算隐层的输出值
隐层除了接受前层的输入,还接受延迟输入,隐层的输出值计算如下:
 
 其中 :来自前层的输入  ,:上一时刻该隐层的输出,为激活函数
备注:由于第一个样本没有
,一般将第一个样本的设为0
 

👉 输出层的输出值
 
输出层是没有延迟输入的,所以它的输出值为:
  






  相关文章:


Elman神经网络原文《Finding structure in time》: https://www.docin.com/p-1384532163.html 
《Finding Time in Structure 论文精读 RNN模型的雏形》: 
https://blog.csdn.net/qq_45523675/article/details/127630335 







 End 






联系老饼