老饼讲解-深度学习 机器学习 神经网络 深度学习
经典CNN模型
1.LeNet与ALexNet网络
2.VGG网络
3.GoogLeNet-Inception
4.ResNet

【简介】ResNet神经网络原文简介

作者 : 老饼 发表日期 : 2024-01-14 10:32:09 更新日期 : 2024-01-19 11:20:48
本站原创文章,转载请说明来自《老饼讲解-深度学习》www.bbbdata.com



ResNet出自2015年论文《Deep Residual Learning for Image Recognition》,是经典的卷积神经网络之一

ResNet最主要的贡献是通过快捷连接的方式,解决了网络退化问题,使得训练更加快速,以及网络层数可以加得更深
本文介绍ResNet原文的主要内容和原文中比较具有意义的贡献,通过本文可以对ResNet原文有一个初步的了解




     01.ResNet神经网络原文简介    





     ResNet原文简介    


ResNet神经网络出自2015年论文《Deep Residual Learning for Image Recognition
 ResNet的核心内容
ResNet的原文主要是通过提出ResNet模块来解决深层神经网络的网络退化问题
一、什么是网络退化                                                                                                                 
 网络退化问题简单来说就是随着网络层数加深,网络的训练、预测效果越来越差的现象
 
二、什么是ResNet模块                                                                                                             
 ResNet模块如下图所示:                                                       
 什么是ResNet                    
 ResNet就是在原来的神经网络层添加一个快捷连接,把输入添加到输出上,              
这种快捷连接减轻了神经网络层的拟合复杂度,从而解决网络退化的问题                  
ResNet全文简介 
ResNet先提出ResNet模块,并在理论上解释为什么ResNet可以解决网络退化问题
然后在ImageNet数据集和CIFAR-10数据集上展开了一系列的关于ResNet的实验与探索
最后通过在两个数据集上的各种实验结果,展示并总结ResNet的相关效果与特性
 例如ResNet对普通网络的精度的提高、对训练速度的加速效果、对层数的加深等等






     ResNet原文的贡献与ResNet的意义    



 ResNet原文的主要贡献
1. ResNet模块                                                                                                              
 包括普通ResNet模块和Bottleneck-ResNet模块                                  
其中附带了三种ResNet模块的快捷连接方案                                     

2. 两组ResNet模型                                                                                                       
                  ResNet-18、34、50、101、152 (面向ImageNet数据做相关实验时提出的模型)                 
               ResNet-20、32、44、56、110、1202(面向CIFAR-10数据做相关实验时提出的模型)                 
ResNet的意义
        ResNet的模型和模块可能并不是文章最重大的贡献,更具意义的是esNet模块的思想与形式 
 
1. 由于ResNet很大程度上解决了网络退化问题,它可以让网络的训练速度更快、误差更小
详见《ResNet在ImageNet数据上的探索实验》                                  
     
2. ResNet将深度学习的神经网络层数推向了另一个量级,  甚至可以达到1000层以上都没问题
详见《ResNet在CIFAR-10数据上的探索实验》                                  











 End 








联系老饼