本站原创文章，转载请说明来自《老饼讲解-深度学习》www.bbbdata.com
Leaky-ReLu激活函数是ReLu激活函数的一种改进，它在大于0时为x，小于0时为αx
本文讲解Leaky-ReLu激活函数的表达式、图像，以及Leaky-ReLu函数的导数、导数图像、特性等
通过本文，可以快速了解Leaky-ReLu函数是什么，包括Leaky-ReLu的特点、图像、导数、作为激活函数的特点等等
本节介绍Leaky-ReLu函数的表达式、图像，以及Leaky-ReLu的导数
Leaky-ReLu激活函数
Leaky-ReLu激活函数是深度学习中一个常见的激活函数，它是ReLu函数的修改
Leaky-ReLu激活函数的公式如下：
或者
Leaky-ReLu函数的图象如下：
Leaky-ReLu是对ReLu激活函数的修改，它只是将ReLu函数在<0时的取值改为了
Leaky-ReLu激活函数的导数
Leaky-ReLu激活函数的导数是非连续的分段函数
Leaky-ReLu的导数如下：
Leaky-ReLu的导数图象如下：
可以看到，Leaky-ReLu函数在<0时导数为，而ReLu函数在<0时导数为0
Leaky-ReLu就是企图让ReLu的导数不为0，希望能以此加速训练，
但Leaky-ReLu在实践中并没有十分明显的效果，因此ReLu目前还是最主流的激活函数
但不管怎么样，Leaky-ReLu的修改对于ReLu来说有益无害，所以Leaky-ReLu也是一个常用的激活函数
好了，以上就是深度学习中的Leaky-ReLu激活函数的表达式、图像与导数了~
End
