算法一篇入门

【推导】逻辑回归损失函数推导-最大似然法

作者 : 老饼 发表日期 : 2022-06-27 22:48:47 更新日期 : 2024-10-05 10:41:03
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



逻辑回归模型使用交叉熵损失函数,它可以由最大似然推导得到

本文讲解如何使用最大似然推导逻辑回归的交叉熵损失函数,以及化为另一种形式

通过本文,可以具体了解逻辑回归损失函数如何通过最大似然得到的,以及推导过程




   01. 逻辑回归损失函数-最大似然推导过程   




本节从最大似然角度推导逻辑回归的损失函数




       逻辑回归模型与损失函数        


逻辑回归模型的数学表达式如下:                     
 

逻辑回归的损失函数为交叉熵损失函数,如下:
                       
 
它还有另一种常见形式,如下:                      
                            
下面我们讲述如何通过最大似然法推导出逻辑回归的两种损失函数





         逻辑回归损失函数推导-最大似然法       


最大似然法推导逻辑回归的损失函数具体过程如下:
 
  
 
一、单个样本评估正确的概率                                                            
模型对单个样本评估正确的概率   为:                 
  
可以巧妙地用一条式子把上述二式合并,如下:                     
 
  

 二、所有样本评估正确的概率                                    
 假设每个样本是独立事件,则所有样本评估正确的概率为:      
              
 三、逻辑回归的损失函数                                                                  
                  我们希望  ​最大化,只需将损失函数设计成  即可
           又由于中含 有大量的乘号,为计算方便,外套一个对数ln
 即可得到:
                  
 进一步化简即有:
                 

这样就得到了逻辑回归的交叉熵损失函数
   ✍️ 逻辑回归损失函数第二种形式   
下面将逻辑回归损失函数的交叉熵形式化为另一种形式
 具体过程如下:
 
 这样就得到了逻辑回归的第二种形式

 




以上就是逻辑回归损失函数的全部推导过程了~








 End 




联系老饼