老饼讲解-机器学习 机器学习 神经网络 深度学习
入门教程
1.学前解惑
2.第一课:初探模型
3.第二课:逻辑回归与梯度下降
4.第三课:决策树
5.第四课:逻辑回归与决策树补充
6.第五课:常见的其它算法
7.第六课:综合应用

【推导】逻辑回归梯度公式推导

作者 : 老饼 日期 : 2022-06-26 03:58:44 更新 : 2023-12-18 15:51:42
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



使用梯度下降法训练逻辑回归时,需要使用到逻辑回归损失函数的梯度,

本文给出逻辑回归损失函数的梯度公式推导的详细过程



    01. 逻辑回归损失函数梯度公式推导    



本节讲解逻辑回归的损失函数的梯度公式的推导过程



     逻辑回归损失函数回顾     


逻辑回归的损失函数如下:

  

其中,:第i个样本的输入变量        
 
:第i个样本的类别       
 
:样本个数              
 
:逻辑回归模型参数      
✍️详细推导可见《逻辑回归损失函数推导过程





    逻辑回归损失函数梯度公式-推导过程   


 由于使用梯度下降法训练逻辑回归时,需要用到逻辑回归损失函数的梯度
下面我们推导逻辑回归损失函数的梯度 
为了简化梯度公式的推导难度,
不妨先对逻辑回归单个参数进行求导,再进下推及到整体参数的梯度
推导过程如下:

 先对W的单个元素j进行求导:



------由于  ,上式可写为-----
                    
-------------用矩阵形式替换连加形式---------------
  // (p-y)*X的第j列
逻辑回归损失函数整体梯度公式
将逻辑回归损失函数单参数的梯度公式,
按形式推广到整体参数,则有:

 

 
其中
(1) X 为m*n矩阵, m为样本数, n为特征个数,
 即一行为一个样本,一列为一特征. 
(2) y,p 为 列向量,             
(3) W为列向量n*1的列向量                       





上述就是逻辑回归梯度公式推导的全部内容了~






 End 





联系老饼