本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
使用梯度下降法训练逻辑回归时,需要使用到逻辑回归损失函数的梯度,
本文给出逻辑回归损失函数的梯度公式推导的详细过程
本节讲解逻辑回归的损失函数的梯度公式的推导过程
逻辑回归损失函数回顾
逻辑回归的损失函数如下:
其中,:第i个样本的输入变量
:第i个样本的类别
:样本个数
:逻辑回归模型参数
✍️详细推导可见《逻辑回归损失函数推导过程》
逻辑回归损失函数梯度公式-推导过程
由于使用梯度下降法训练逻辑回归时,需要用到逻辑回归损失函数的梯度
下面我们推导逻辑回归损失函数的梯度
为了简化梯度公式的推导难度,
不妨先对逻辑回归单个参数进行求导,再进下推及到整体参数的梯度
推导过程如下:
先对W的单个元素j进行求导:
------由于 ,上式可写为-----
-------------用矩阵形式替换连加形式---------------
// (p-y)*X的第j列
逻辑回归损失函数整体梯度公式
将逻辑回归损失函数单参数的梯度公式,
按形式推广到整体参数,则有:
其中
(1) X 为m*n矩阵, m为样本数, n为特征个数,
即一行为一个样本,一列为一特征.
(2) y,p 为 列向量,
(3) W为列向量n*1的列向量
上述就是逻辑回归梯度公式推导的全部内容了~
End