算法原理

【模型】逻辑回归模型简介

作者 : 老饼 发表日期 : 2022-06-26 13:46:09 更新日期 : 2023-11-10 06:17:27
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com


逻辑回归作为一个基本模型,逻辑回归的相关资料已经很多,

本文不再作深入介绍,仅简单介绍和回顾逻辑回归模型,以便于后续讲解算法的实现。




    01. 逻辑回归模型介绍    



本节简单介绍逻辑回归模型及其意义



      逻辑回归解决什么问题     


逻辑回归主要用于做二分类问题,
逻辑回归模型输出目标为 {0,1}的 两类中,属于1类的概率
✍️关于逻辑回归的类别标签
逻辑回归的类别标签一定只能标为 {0,1},而不能标为{-1,1}
当然,这是指理论推导上类别标签只能为{0,1},
在实际应用中,任何类标都可以,
因为任何类标都能转换为{0,1}类标问题,软件会自动转换




   逻辑回归-模型表达式   


逻辑回归的模型表达式如下
 

 备注:这里的X代表,最后的1用于替代b



      逻辑回归模型的意义     


逻辑回归模型的意义
逻辑回归模型相当于在一个线性模型的基础上,
套上一个sigmoid函数,从而最终得到一个S型曲线模型
 

 
逻辑回归模型输出的意义   
 
由于,逻辑回归的输出范围为(0,1),
它代表的意义是判为1类标签的概率






   02. 逻辑回归的损失函数与求解方法  



本文介绍逻辑回归的损失函数和相关求解方法



   逻辑回归的损失函数   


逻辑回归的损失函数为交叉熵损失函数:
   
推导过程见《逻辑回归-对数损失函数推导》




   逻辑回归的求解算法   


逻辑回归的求解目标就是求一个W,使以上损失函数最小化
一般常见的求解算法有:
👉 1. 梯度下降法  
👉 2. 牛顿法         
梯度下降法的好处是,算法实现和原理都比较简单,
但与牛顿法相比,求解速度没有牛顿法好
所以一般学习上我们使用梯度下降法,但实际应用中,使用牛顿法会更加好











 End 







联系老饼