老饼讲解-机器学习 机器学习 神经网络 深度学习
入门教程
1.学前解惑
2.第一课:初探模型
3.第二课:逻辑回归与梯度下降
4.第三课:决策树
5.第四课:逻辑回归与决策树补充
6.第五课:常见的其它算法
7.第六课:综合应用

【总结】逻辑回归总结

作者 : 老饼 日期 : 2022-06-26 03:35:58 更新 : 2023-12-18 15:50:55
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com


本文总结逻辑回归算法的原理、模型、和求解。

是对逻辑回归算法的一个简单精要总结



  01.  逻辑回归模型原理  



本节回顾和总结逻辑回归模型三组件:表达式、损失函数、求解算法



     逻辑回归模型三组件回顾    


逻辑回归模型是用于做二分类,它输出属于分类1的概率
 模型的表达式、损失函数、求解算法如下:
 
逻辑回归模型-损失函数-求解算法
     逻辑回归的模型表达式   
 

从表达式可以看到,
逻辑回归模型相当于用线性函数综合所有变量,
再用sigmoid函数将综合值转为概率值
    逻辑回归的损失函数   
逻辑回归用概率最大化作为损失函数,
即参数取何值时,模型预测正确的概率最大
损失函数常见的有一般形式和交叉熵形式
 
损失函数的一般形式:
  

 

 损失函数的交叉熵形式:
   逻辑回归的模型求解   
 
模型无法求得精确解,
使用梯度下降等算法进行数值求解

  损失函数的梯度公式为:
 
 
 

 👉软件包里逻辑回归的求解用的不一定是梯度下降法,但思想是类似的





   02. 梯度下降法求解逻辑回归  



本节回顾梯度下降法求解逻辑回归的流程



     梯度下降法求解逻辑回归流程    


梯度下降法求解逻辑回归的思路
梯度下降法求解逻辑回归的思路与流程如下:
梯度下降算法求解逻辑回归
 
(1) 先求出待求解函数(损失函数)的梯度公式,                                                                                     
(2) 初始化一个初始解,根据梯度公式的负梯度方向,不断迭代,直到满足要求(例如达到最大迭代次数)
👉说明
 这里我们使用梯度下降法求解逻辑回归,
主要是作为入门,可以顺带学习梯度下降算法,
而实际上,在软件包中,例如matlab,使用的就不是梯度下降法,而是牛顿法
在软件包的算法原理讲解时,我们可以看到,牛顿法会更为精妙和有效




以上就是逻辑回归总结的全部内容了~







 End 



 

联系老饼